Pasaia: Token-ak adierazpen erregularren bidez definitzen dira, lex bezalako lexika-analizatzaileak ulertzen dituenak. Lexika-analizatzaileak (lex, edo eskuz egindako tresna batek automatikoki sortutakoak) karaktere-korronte bat irakurtzen du, korrontean dauden lexemak identifikatzen ditu, eta tokenen artean sailkatzen ditu. Hau tokenizatzea da.
Token ezegonkorra