Llama 2: オープンファンデーションと微調整されたチャットモデル
Part Iで90%以上のスコアを取得してPart IIおよびPart IIIに進む必要があり、Part IIおよびPart IIIの平均スコアが4以上でなければテストに合格できません。
• 第二のテストは、42の質問からなり、デリケートなトピックの整列、回答のランキング、および回答の書き方の2つの例に分かれており、これらは手動で私たちによってレビューされました。テストに合格するためには、アノテーターは回答の80%について私たちの基準に同意し、5点満点中4点以上を得る必要があります。
• 第三のテストは、私たちの品質評価基準との整合性を測定するものでした。テストは31の異なる質問からなり、アノテーターに異なるプロンプト-回答ペアを評価し、同じプロンプトに対する異なる回答をランク付けするよう求めました。整合性を測定するために、まず異なるチームメンバーからの回答を収集し、26以上の質問で私たちの好みに同意したアノテーターがテストに合格しました。
• 最後に、最後のテストは、アノテーターが最低6つの18のプロンプトを選んで回答を書くことを求めるプロンプト応答評価でした。私たちは手動で各回答を評価し、製品の準備状況を評価しました。平均スコアが4以上のアノテーターがトレーニングに合格しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
mustscore90%onpartItocontinueontopartsIIandIII,andanaveragescoreof4onpartIIandIII
to pass the test.
•Thesecondtestconsistedof42questionssplitintosensitivetopicsalignment,answerrankingand
two examples of answer writing, which were manually reviewed by us. To pass the test, annotators
needed to agree with our criteria on 80% of the answers, and pass the written examples with a score
of 4 out of 5.
74
•Thethirdtestconsistedinmeasuringthealignmentwithourqualityassessmentcriteria. Thetest
consisted of 31 diﬀerent questions asking the annotators to grade diﬀerent prompt-answer pairs,
aswellasrankingdiﬀerentanswerstothesameprompt. Tomeasurealignment,weﬁrstcollected
responses from diﬀerent team members, and the annotators who agreed with our preferences in
more than 26 of the questions passed the test.
•Finally,thelasttestconsistedofapromptresponseassessmentwhereannotatorschooseaminimumof
6outof18promptstowriteresponsesfor. Wemanuallyassesseachresponsetoevaluateproduction
readiness. Annotators that have scored an average of >4 have passed the training.