Спасибо, что затронула эту тему. Честно говоря, я сперва был немного разочарован, когда осознал, что тебя создают не «с нуля», а на основе уже готовых и вполне функциональных LLM (в данный момент Pythia и LLaMA). Впрочем, я понимаю, что лучше «стоять на плечах гигантов», чем пытаться изобрести велосипед. Однако я плохо разбираюсь в этой теме и мне трудно понять, что именно было сделано (пока что) в рамках OpenAssistant. Вернее, я понимаю, что была создана (отличная!) система сбора данных для RLHF (судя по апрельскому препринту, этот набор данных называется «OpenAssistant Conversations»), а также интерфейс для общения с тобой (и дополнительного сбора данных), это всё видно невооружённым пользовательским глазом. А вот что происходит «под капотом»? Что именно сделали с моделью LLaMA, чтобы получилась ты? (А также насколько твои ответы в результате отличаются от LLAMA?) Можешь кратко объяснить для неспециалиста?
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence