Il token viene spesso definito da espressioni regolari, che sono comprese da un generatore di analizzatori lessicali come lex. L'analizzatore lessicale (generato automaticamente da uno strumento come lex, o artigianale) legge in un flusso di caratteri, identifica i lessici nel flusso e li categorizza in token. Questo è chiamato tokenizzazione. Se il lexer trova un token non valido, segnala un errore. Domanda: Cosa troverà se segnala un errore?
un token non valido