BERT不同於以往以單向的方式，也就是從左到右或是右到左的去處理字詞，反之，BERT透過雙向的字詞處理以及訓練模型，以更好的理解文本的上下文。
而近期最大的突破為深度學習進步所進一步驅動的BERT模型，也就是「轉譯器的雙向編碼表述」。BERT不同於以往以單向的方式，也就是從左到右或是右到左的去處理字詞，反之，BERT透過雙向的字詞處理以及訓練模型，以更好的理解文本的上下文。 其成績不僅在MultiNLI評估的正確性達到86.7%，, SQuAD v1.1 問答題F1更是達到了93.2，相較於前一代的模型都是大幅的成長。