<prompt> Eleza masharti ya kuweka alama, kuhimili na kuhalalisha katika uchakataji wa lugha asilia.  <response>: Uwekaji alama, uundaji, na uhalalishaji zote ni mbinu muhimu za kuchakata kabla zinazotumiwa katika uchakataji wa lugha asilia NLP kusafisha na kuandaa data ya maandishi kwa ajili ya kuigwa au kuchanganua. Tokenization ni mchakato wa kuvunja maandishi katika maneno ya mtu binafsi au ishara. Ni hatua ya awali ya kuchakata maandishi na ni muhimu katika kuwezesha algorithms kuchanganua na kupata maana kutoka kwa data ya maandishi. Katika uwekaji alama, algoriti hutenganisha sentensi katika viambajengo vyake, ikitenganisha alama za uakifishaji na nafasi nyeupe, ili kutoa orodha ya ishara au maneno. Tokeni hizi hutumika kama vipengele vya ingizo kwa kazi mbalimbali za NLP kama vile kurejesha taarifa, uainishaji wa maandishi, na uchanganuzi wa hisia, miongoni mwa zingine. Shina ni mchakato wa kupunguza maneno kwa mzizi au umbo la msingi. Ni mkabala unaozingatia kanuni za kuondoa viambishi vya kiambishi na viambishi kutoka kwa maneno ili kupata umbo la mzizi ambalo si lazima liwe neno halisi katika lugha. Kwa mfano, kanuni ya msingi inaweza kupunguza maneno kukimbia, mkimbiaji, na kukimbia hadi kwenye shina kimbia. Lengo la kuhitimisha ni kuchora maneno yanayohusiana na fomu ya msingi ya kawaida, ambayo inaweza kusaidia katika kazi kama vile kurejesha taarifa na uainishaji wa maandishi. Lematization ni sawa na shina kwa kuwa pia hupunguza maneno kwa fomu zao za msingi. Hata hivyo, tofauti na uhimilishaji, uhalalishaji ni mbinu ya kisasa zaidi inayotumia kamusi au uchanganuzi wa kimofolojia ili kupata umbo la mzizi wa neno. Tokeo la uhalalishaji daima ni neno halisi katika lugha, na kuifanya kuwa mbinu sahihi zaidi ya kiisimu kuliko kuhitimisha. Kwa mfano, ingawa kanuni ya msingi inaweza kupunguza neno bora hadi dau, kanuni ya uhalalishaji inaweza kurejesha nzuri kama mzizi wa neno. Utoaji na uhalalishaji hutumika kupunguza ukubwa na uchache wa data, na kuifanya iwe rahisi kwa algoriti kutafsiri na kuchanganua data ya maandishi. 