InstructGPT é uma forma alinhar os modelos GPT (sigla para gerador de conversas pré-treinado usando transformadores) para seguirem instruções. É uma forma de RLHF, que significa aprendizado por reforço com opiniões humanas. Humanos simulam interações homem-máquina e classificam qual é a melhor resposta que o modelo de IA deveria usar. Eles fazem isso milhares de vezes para terem dados e modelos de incentivos suficientes para retreinar a IA na direção de seguir melhor instruções.
O modelo de incentivos é um passo opcional onde um corpo de texto amplificado por humanos são avaliados nos seguintes parâmetros, de acordo com o Open Assistant:

- Qualidade da Resposta
- Resposta inútil ou útil
- Resposta Criativa ou Mundana
- Resposta Séria ou Humorada
- Resposta Rude ou Educada
- Resposta Violenta ou Inofensiva

Críticos desse sistema afirmam que é uma forma cara de se alinhar essas LLM (sigla para grandes modelos de linguagem), embora avanços recentes tenham usado os próprios modelos que fazem uso do InstructGPT para treinar outros modelos, reduzindo assim o custo.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence