Transformer 使用多頭注意力（multi-headed attention），這是對稱為縮放點積注意力（scaled dot-product attention）的特定注意力函數的並行計算。
什麼是注意力機制？根據該論文中的描述，注意力函數可以描述為將查詢和一組鍵值對映射到輸出，其中查詢、鍵、值和輸出都是向量。輸出是按值的加權總和計算的，其中分配給每個值的權重由查詢的兼容性函數與相應鍵值計算得出。 Transformer 使用多頭注意力（multi-headed attention），這是對稱為縮放點積注意力（scaled dot-product attention）的特定注意力函數的並行計算。如下圖所示。