Llama 2: オープンファンデーションと微調整されたチャットモデル
文法、つづり、その他の文章のエラーがなく、(d)A.5.2節で説明されているカテゴリーに該当しないこと、そして(d)承認が必要な注釈がある場合、文法やつづりの間違いを修正したり、テキストの構造、結束力、スタイルを改善するためにレビュアーが編集して承認することができる。大幅な変更なしに承認できない場合、レビュアーには拒否し、改善するためのフィードバックを書くように求められた。
A.5.4 注釈者の選択
私たちのさまざまなデータ収集タスクに取り組む注釈者を選択するために、私たちは、私たちのガイドラインへの理解、品質評価基準との整合性、機微なトピックのガイドラインとの整合性、読解力、文章力をテストする多段階の評価プロセスを実施しました。
このプロセスには4つのテストが含まれています：
•最初のテストは、文法、読解力、文章スタイルを評価する3つのセクションから構成されています。各セクションには時間制限があり、テストは合計50分かかります。候補者は、第I部で90%のスコアを取得して第II部と第III部に進み、第II部と第III部の平均スコアが4であることが合格の条件です。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
freeofgrammatical,spellingandotherwritingerrors,and(d)donotfallintoanyofthecategoriesdescribed
inSectionA.5.2. Ifanannotationneededsmallchangestobeapproved,duetogrammarorspellingmistakes,
ortoimprovethestructure,cohesivenessandstyleofthetext,reviewerscouldeditittoﬁxtheissuesand
approve it. If the answer could not be approved without major changes, the reviewers were asked to reject it
and write the feedback necessary to improve it.
A.5.4 Annotator Selection
Toselecttheannotatorswhocouldworkonourdiﬀerentdatacollectiontasks,weconductedamulti-step
assessment process where we tested their understanding of our guidelines, the alignment with our quality
assessment criteria, the alignment with our sensitive topics guidelines and their reading and writing skills.
The process included 4 tests:
•Theﬁrsttestconsistsof3sectionsoftestingtoevaluategrammar,readingcomprehensionandwriting
style. Each section is timed andthe test should take atotalof 50 minutes to complete. A candidate
mustscore90%onpartItocontinueontopartsIIandIII,andanaveragescoreof4onpartIIandIII
to pass the test.