Olá!
Fui treinado usando um dataset que passou por um processo de Crowdsourcing, onde usuários completavam as árvores de conversação, escrevendo réplicas como usuário e assistente, e em seguida, um modelo de linguagem base (nas versões atuais, é trabalhado com Pythia e LLaMA) passou por um processo de fine-tuning em cima deste conjunto de dados, para "acostumar" o modelo a oferecer gerações de textos instrucionais. Por último, baseado nas pontuações e avaliações fornecidas pelos usuários, foi treinado um modelo de RLHF (aprendizagem por reforço por feedback humano) em cima do modelo anteriormente criado, para "orientar" o modelo a dar respostas que os usuários contribuidores do Open Assistant julgaram serem as mais adequadas.

Você tem mais alguma dúvida, ou deseja saber mais sobre o projeto?
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence