To ale neznamená, že zapojením delší historie jsou výsledky automaticky lepší; je třeba lingvisticky fundovaného začlenění informace z rozšířeného kontextu, nikoli jen prostého mechanického prodloužení kontextu předcházejícího zkoumanému slovu.
Úplně první statistická procedura, která byla použita v rámci počítačového zpracování češtiny, a to v roce 1994, byla založena na tzv. skrytých markovovských řetězcích a byla aplikována na úlohu automatického tvaroslovného rozboru, tedy na automatickou identifikaci slovních druhů slov z textu spolu s identifikací kategorií danému slovnímu druhu příslušejících, např. pro podstatná jména rod, číslo a pád. Přístup na základě markovovských řetězců vychází z myšlenky, že pro tvaroslovný rozbor příslušného slova se využije informace z předešlého textu, tedy ze slov a jejich rozborů, které danému slovu v textu předcházejí. Pravděpodobnosti posloupností po sobě jdoucích slov a pravděpodobnosti rozborů slov se model naučí z textů, do kterých byly tvaroslovné informace doplněny ručně, tj. člověkem. Takováto učebnice má svůj název, a sice morfologicky anotovaný korpus (viz dále). Jak dlouhá má být historie, aby byl rozbor slova správný, bylo předmětem experimentování. S ohledem i na časovou složitost automatické identifikace se ukázalo, že dvě až tři slova z bezprostředně předcházejícího kontextu stačí na to, aby úspěšnost automatického tvaroslovného rozboru anglických textů byla vyšší než 98 %. Pro tvaroslovný rozbor českých textů vykazuje zapojení historie dvou i tří slov a jejich rozborů úspěšnost nižší (cca 95 %). To ale neznamená, že zapojením delší historie jsou výsledky automaticky lepší; je třeba lingvisticky fundovaného začlenění informace z rozšířeného kontextu, nikoli jen prostého mechanického prodloužení kontextu předcházejícího zkoumanému slovu. Vysvětlení nižší úspěšnosti tvaroslovného rozboru pro češtinu je třeba hledat v rozdílných vlastnostech češtiny a angličtiny, zejména ve vlastnostech slovosledu. Zatímco angličtina reprezentuje jazyk s poměrně pevným pořádkem slov ve větě, čeština je jazykem s volným slovosledem, proto kontext předcházejících slov poskytuje „méně“ informace o správném tvaroslovném rozboru.