<prompt> Eleza masharti ya kuweka alama, kuhimili na kuhalalisha katika uchakataji wa lugha asilia.  <response>: Tokeni ni mchakato wa kugawanya sentensi katika maneno yake binafsi na alama za uakifishaji. Stemming ni mchakato wa kuondoa viambishi na viambishi awali ili kubainisha umbo la mzizi wa neno. Lematization ni mchakato wa kuunganisha pamoja maneno yanayohusiana kulingana na maana yake, ili neno moja liweze kuwakilisha aina tofauti za neno. Michakato hii yote hutumiwa katika uchakataji wa lugha asilia ili kupunguza idadi ya maneno na kuchakata kwa ufanisi data ya lugha asilia. 