V roce 2020 představil OpenAI model GPT-3, transformátor s 175 miliardami parametrů, který ukázal ohromující schopnost generovat lidskému podobné texty.
Transformery začaly dominovat světu AI. Modely založené na této architektuře, jako je BERT od Google a jeho varianty (RoBERTa, DistilBERT atd.), se staly zlatým standardem pro mnoho úloh v oblasti zpracování přirozeného jazyka (NLP). V roce 2020 představil OpenAI model GPT-3, transformátor s 175 miliardami parametrů, který ukázal ohromující schopnost generovat lidskému podobné texty. Destinásobně tak předčil doposud největší model od Microsoftu, Turing Natural Language Generation (T-NLG), který disponoval “pouze” 17 miliardami parametrů. Parametr je proměnná, která se upravuje během tréninku modelu. Například v neuronových sítích jsou parametry váhy, které určují, jak silně jedna jednotka (neuron) ovlivňuje další. Model s více parametry může lépe zachytit složité vzory v datech. Představte si to jako na kreslení obrazu s více barvami. Pokud máte více barev (parametrů), můžete nakreslit detailnější a složitější a realističtější obraz. Počet parametrů nových sítí přitom roste exponenciálně. V dubnu 2022 se objevil model Google PaLM, který obsahuje 540 miliard parametrů. Přesný počet parametrů modelu GPT-4 není veřejně dostupný, ale údajně by mohl mít více než 1 bilionu parametrů.