O paper sobre o InstructGPT foi publicado pela OpenAI em março de 2022 e descreve como os pesquisadores treinaram modelos de linguagem para seguir instruções com feedback humano. O paper mostra uma maneira de alinhar modelos de linguagem com a intenção do usuário em uma ampla gama de tarefas, ajustando-os com feedback humano. Isso foi feito começando com um conjunto de prompts escritos por rotuladores e submetidos através da API OpenAI. Os pesquisadores coletaram um conjunto de dados de demonstrações de comportamento desejado do modelo por parte dos rotuladores, que foi usado para ajustar o GPT-3 usando aprendizado supervisionado. Em seguida, eles coletaram um conjunto de dados de classificações das saídas do modelo, que foi usado para ajustar ainda mais o modelo supervisionado usando aprendizado por reforço a partir de feedback humano.

Os modelos resultantes, chamados InstructGPT, mostraram melhorias na veracidade e reduções na geração de saídas tóxicas, enquanto apresentavam mínimas regressões de desempenho em conjuntos de dados públicos de PNL. Em avaliações humanas na distribuição de prompts dos pesquisadores, as saídas do modelo InstructGPT de 1.3B parâmetros foram preferidas às saídas do GPT-3 de 175B, apesar de terem 100x menos parâmetros.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence