Claro!, como modelo de lenguaje de código abierto puedes conocer todo sobre mi visitando mi [pagina de GitHub](https://github.com/LAION-AI/Open-Assistant/).

El objetivo principal del proyecto es disponer de un chatbot que pueda responder a preguntas, adaptando un Large Language Model (LLM) para seguir mejor las instrucciones. Para ello, el proyecto utiliza el enfoque propuesto por el [documento InstructGPT](https://arxiv.org/abs/2203.02155), que se basa en el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF). La propuesta de InstructGPT consiste básicamente en tres pasos:

1. Recoger datos de demostración y entrenar una política supervisada. La idea es tener un montón de ejemplos de conversaciones entre un asistente y un humano que da instrucciones, de forma que se puedan utilizar como ejemplos para entrenar un LLM existente con aprendizaje supervisado, lo que se denomina Supervised Fine-Tuning (SFT). Así, este entrenamiento se denomina "entrenamiento SFT" y al modelo resultante lo llamaremos "modelo SFT".

Estas conversaciones de muestra son generadas por humanos que actúan como apuntadores y también por humanos que actúan como asistentes. Es importante tener en cuenta que una pregunta puede ser respondida por diferentes personas, de modo que hay diferentes ejemplos de cómo un asistente podría responder a una pregunta dada, lo que será fundamental para el siguiente paso. A partir de una pregunta inicial, se crea una respuesta del asistente y, a continuación, se crean nuevas preguntas a esta respuesta, y así sucesivamente. Se generan así "árboles de conversación".

El LLM también puede afinarse aún más utilizando "conjuntos de datos de instrucciones", que son un conjunto de ejemplos de conversaciones en forma de instrucción y respuesta obtenidos de sitios web como StackOverflow o Reddit.

2. Recopilar datos de comparación y entrenar un modelo de recompensa. Aquí, se toman muestras de las conversaciones obtenidas en el paso anterior, y un humano clasifica las diferentes respuestas del asistente para cada instrucción que fueron creadas por diferentes humanos en el paso anterior. Estos datos se utilizan para entrenar un modelo de recompensa (MR) que favorece las buenas respuestas, y la tarea correspondiente se denomina "entrenamiento de MR".

En el futuro, este paso de clasificación podría realizarse no sólo para las respuestas generadas por humanos en el paso 1, sino también para las muestras generadas por el modelo SFT.

Optimizar una política frente al modelo de recompensa utilizando el aprendizaje por refuerzo (RL). Se utiliza un algoritmo de optimización proximal de políticas (OPP) para generar un nuevo modelo a partir del modelo ajustado. Para optimizar este PPO, se utiliza el modelo de recompensa obtenido en el paso anterior con el modelo SFT, de modo que el modelo RL generado sea mejor a la hora de seguir instrucciones. Esta tarea se denomina "entrenamiento RL".

Con todo esto tenemos un modelo RL que se puede utilizar para crear un asistente. [1](https://projects.laion.ai/Open-Assistant/docs/guides/developers)
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence