 באַשרייַבן די טערמינען טאָקעניזאַטיאָן, סטעמינג און לעמאַטיזאַטיאָן אין נאַטירלעך שפּראַך פּראַסעסינג.
טאָקעניזאַטיאָן, סטעמינג און לעמאַטיזאַטיאָן זענען אַלע יקערדיק פּריפּראָסעססינג טעקניקס געניצט אין נאַטירלעך שפּראַך פּראַסעסינג (NLP) צו ריין און צוגרייטן טעקסטשאַוואַל דאַטן פֿאַר מאָדעלינג אָדער אַנאַליסיס. טאָקעניזאַטיאָן איז דער פּראָצעס פון ברייקינג אַראָפּ אַ טעקסט אין יחיד ווערטער אָדער טאָקענס. עס איז דער ערשט שריט אין טעקסט פּרעפּראָסעססינג און איז יקערדיק אין ענייבאַלינג אַלגערידאַמז צו פונאַנדערקלייַבן און אַרויספירן טייַטש פון טעקסט דאַטן. אין טאָקעניזאַטיאָן, אַלגערידאַמז סעגמענט אַ זאַץ אין זייַן קאַנסטיטשואַנץ, סעפּערייטינג פּונקטואַציע און ווייטספּאַסע, צו פּראָדוצירן אַ רשימה פון טאָקענס אָדער ווערטער. די טאָקענס דינען ווי אַרייַנשרייַב פֿעיִקייטן פֿאַר פאַרשידן NLP טאַסקס אַזאַ ווי אינפֿאָרמאַציע ריטריוואַל, טעקסט קלאַסאַפאַקיישאַן און סענטימענט אַנאַליסיס, צווישן אנדערע. סטעמינג איז דער פּראָצעס פון רידוסינג ווערטער צו זייער וואָרצל אָדער באַזע פאָרעם. עס איז אַ הערשן-באזירט צוגאַנג צו באַזייַטיקן בייינג סופיקס און אַפיקסיז פון ווערטער צו באַקומען אַ וואָרצל פאָרעם וואָס קען נישט דאַווקע זיין אַ פאַקטיש וואָרט אין דער שפּראַך. פֿאַר בייַשפּיל, די סטעמינג אַלגערידאַם קען רעדוצירן די ווערטער "לויפן", "לויפער" און "לויפן" צו די סטעם "לויפן." דער ציל פון סטעמינג איז צו מאַפּע פֿאַרבונדענע ווערטער צו אַ פּראָסט באַזע פאָרעם, וואָס קענען אַרוישעלפן אין טאַסקס אַזאַ ווי אינפֿאָרמאַציע ריטריוואַל און טעקסט קלאַסאַפאַקיישאַן. לעממאַטיזאַטיאָן איז ענלעך צו סטעמינג אין אַז עס אויך ראַדוסאַז ווערטער צו זייער באַזע פארמען. אָבער, ניט ענלעך סטעמינג, לעממאַטיזאַטיאָן איז אַ מער סאַפיסטאַקייטיד טעכניק וואָס ניצט אַ ווערטערבוך אָדער מאָרפאָלאָגיקאַל אַנאַליסיס צו באַקומען די וואָרצל פאָרעם פון אַ וואָרט. דער רעזולטאַט פון לעמאַטיזאַטיאָן איז שטענדיק אַ פאַקטיש וואָרט אין דער שפּראַך, וואָס מאכט עס אַ מער לינגוויסטיק פּינטלעך טעכניק ווי סטעמינג. פֿאַר בייַשפּיל, בשעת די סטעמינג אַלגערידאַם קען רעדוצירן די וואָרט "בעסער" צו "געט", אַ לעממאַטיזאַטיאָן אַלגערידאַם וואָלט ריכטיק צוריקקומען "גוט" ווי דער וואָרצל פאָרעם. ביידע סטעמינג און לעממאַטיזאַטיאָן דינען צו רעדוצירן דימענשאַנאַליטי און דאַטן ספּאַרסיטי, מאכן עס גרינגער פֿאַר אַלגערידאַמז צו טייַטשן און אַנאַלייז טעקסט דאַטן.