GPT-3 模型在這時脫穎而出，該模型的性能比 GPT-2 有了巨大的飛躍，內容涉及從代碼生成到寫作等多項任務。
隨著模型越來越大，它們開始提供人類層面的結果，然後是超人的結果。在 2015 - 2020 年間，用於訓練這些模型的計算增加了 6 個數量級，其結果超過了人類在手寫、語音和圖像識別、閱讀理解和語言理解方面的性能基準。 GPT-3 模型在這時脫穎而出，該模型的性能比 GPT-2 有了巨大的飛躍，內容涉及從代碼生成到寫作等多項任務。