<prompt> Ni wazo gani la msingi nyuma ya mifano ya GPT?  <response>: Miundo ya GPT au Generative Pre-trained Transformer inatokana na usanifu wa mashine ya kujifunza uitwao Transformer, ulioanzishwa kwa mara ya kwanza na Google mwaka wa 2017. Wazo la msingi la miundo ya GPT ni kutumia kiasi kikubwa cha data ya mafunzo kutoa mafunzo ya awali ya Transformer- msingi wa kutabiri neno linalofuata, kutokana na maneno yaliyotangulia katika mlolongo wa maandishi. Mafunzo haya ya awali hufanywa kwa kutumia mbinu ya ujifunzaji isiyosimamiwa iitwayo modeli ya lugha. Pindi tu muundo unapopata mafunzo ya awali, basi unaweza kusawazishwa vyema kwa kiasi kidogo cha data maalum ya kazi ili kutekeleza aina mbalimbali za kazi za kuchakata lugha asilia, kama vile uainishaji wa maandishi, uchanganuzi wa hisia na kujibu maswali. Miundo ya GPT imepata utendakazi wa hali ya juu kwenye idadi ya vigezo kutokana na uwezo wao wa kunasa na kutumia vyema muktadha wa maandishi wanayochakata. 