| Ця стаття не містить посилань на джерела. (січень 2017) |
Токен — об'єкт, що утворюється із лексеми в процесі лексичного аналізу.
У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.
Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.
| тип токена | приклади лексем | опис |
|---|---|---|
| string | "Мова \"C\"" | рядкова стала |
| id | Name01 | ідентифікатор |
| relop | >= | операції відношення |
| num | 13 | число |
| Це незавершена стаття про інформаційні технології. Ви можете допомогти проєкту, виправивши або дописавши її. |