Jepni një përshkrim të shkurtër të algoritmit prapa një modeli GPT
Modeli i gjuhës GPT (Generative Pre-trained Transformer) bazohet në arkitekturën Transformer dhe përdor një strukturë encoder-decoder. Enkoderi përdor vetë-vëmendjen me shumë koka dhe kodimin pozicional për të përpunuar një sekuencë të hyrjes për të gjeneruar një përfaqësim të kontekstualizuar. Dekoderi përdor këtë përfaqësim me një mekanizëm të maskuar, me shumë koka për të gjeneruar një përgjigje ndaj hyrjes. Modeli përdor peshë të paraprakisht të trajnuara për të bërë parashikime dhe është i mprehtë bazuar në të dhënat e hyrjes.