Përshkruani termat tokenization, stemming dhe lemmatization në përpunimin e gjuhës natyrore.
Tokenizimi është procesi i ndarjes së një fjali në fjalët e saj individuale dhe shenjat e interpunksionit. Stemming është procesi i heqjes së sufixeve dhe prefikseve për të përcaktuar formën rrënjë të një fjali. Lemmatizimi është procesi i grumbullimit të fjalëve të lidhura bazuar në kuptimin e tyre, në mënyrë që një term i vetëm të mund të përfaqësojë forma të ndryshme të një fjali. Të gjitha këto procese përdoren në përpunimin e gjuhës natyrore për të zvogëluar numrin e fjalëve dhe për të përpunuar në mënyrë efektive të dhënat e gjuhës natyrore.