Яку архітектуру використовує GPT?
GPT використовує архітектуру трансформатора, яка є архітектурою нейронної мережі, заснованої на механізмі уваги, щоб знайти глобальні залежності між введенням і виходом. Більш конкретно, GPT належить до підтипу в сім'ї трансформаторів, який називається трансформатором тільки для декодерів.