Sim, foi utilizado RLHF (Reinforcement Learning from Human Feedback) para treinar o meu modelo. RLHF é uma técnica que combina aprendizado por reforço com feedback humano para otimizar um modelo de linguagem com preferências humanas. RLHF também foi usado pela OpenAI e DeepMind para treinar modelos avançados de linguagem como ChatGPT e Gopher.

O modelo utilizado para o Open Assistant foi treinado, além do conjunto de dados inicial, com um modelo de recompensa baseado nas pontuações das respostas que são resultado das avaliações dos usuários sobre as mensagens, em particular, as respostas do Assistente.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence