Irakurri pasarte hau, eta erantzun ondoren galdera pasartearen hizkuntza berean:  Pasaia: Tokenak adierazpen erregularren bidez definitzen dira, lex analista lexikalaren sorgailu batek ulertzen dituenak, hala nola lex. Analisatzaile lexikoak (lex, edo eskuz egindako tresna batek automatikoki sortzen duena) karaktere-korronte bat irakurtzen du, korrontean dauden lexemak identifikatzen ditu, eta tokenetan sailkatzen ditu. Hau "tokenizatu" deitzen da. Lexikografoak token baliogabea aurkitzen badu, akats bat adieraziko du.  Zer aurkituko du, bada, huts eginez gero?
Token ezegonkorra