Токен (лексический анализ) (Mktyu (lytvncyvtnw gugln[))
Перейти к навигации
Перейти к поиску
То́кен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing).
В прикладном программировании понятие токена и его лексема могут не различаться.
Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
тип токена | примеры лексем | описание |
---|---|---|
num | 257 | число |
id | Ident951 | идентификатор |
relop | <= | операция отношения |
string | «Cимвол» | строчная постоянная |
Это заготовка статьи об информационных технологиях и вычислительной технике. Помогите Википедии, дополнив её. |
В статье не хватает ссылок на источники (см. рекомендации по поиску). |