Féach ar an rann thíos agus ansin freagair an cheist ina dhiaidh sin sa teanga chéanna leis an rann:  Passage: Is minic a shainmhínítear tocáin trí fhocail rialta, a thuigeann gineadóir anailíseora leacsaíochta mar lex. Léann an anailíseoir léasaíoch (a ghineann uirlis cosúil le lex, nó a dhéantar de láimh go huathoibríoch) i sruth carachtair, sainaithníonn sé na lexemes sa sruth, agus catagóiriálann sé iad i gcinn. Is é seo a dtugtar tokenizing. Má fhaigheann an léicseoir comhartha neamhbhailí, tuairisceoidh sé earráid.  Ceist: Cad a gheobhaidh sé má thuairiscíonn sé earráid?
token neamhbhailí