Яка головна різниця між декодером тільки трансформатором і кодексом тільки трансформатором?
Основна відмінність полягає в тому, що тільки енкодерний трансформатор дивиться на вхідну послідовність з обох напрямків, як спереду, так і ззаду, це означає, що вони можуть краще зрозуміти відносини між кожним токеном в послідовності. З іншого боку, тільки декодерний трансформатор дивиться тільки в одному напрямку введення, що означає, що вони краще підходять для авторегресивних мовних завдань, таких як генерація тексту.