Llama 2: オープンファンデーションと微調整されたチャットモデルは、コンテキストを維持し、微妙な状況を処理し、会話内で有害なコンテンツを生成しないようにすることが、既存のベンチマークによって徹底的に評価されないかもしれません。BOLDデータセットでは、Wikipediaから抽出されたプロンプトが、最初の5つの単語にドメイン用語を加えたものとされ、その結果、BOLDのプロンプトはドメインや人口集団によって6から9語になります（Dhamala et al.、2021）。
展開後、チャットモデルの安全性はユーザーエクスペリエンスと長期的な影響を含みますが、これらは単独のベンチマークによって捉えられるものではありません。したがって、安全性を効果的に評価するためには、製品展開における統合方法、使用方法、および製品コンテキストにおける安全リスクを正確かつ適切に捉えるためのメトリクスに関する追加のテストが不可欠です。上記のケースでまだ取り上げられていないいくつかの次元を包括的に評価するために、将来の作業ではより包括的な評価を行います。
A.5 データ注釈
監督された微調整段階の注釈を収集するために人間の注釈者に依存しており、報酬モデルを訓練するために人間の選好を利用しています。このセクションでは、データ注釈プロセスについての詳細を提供します。
A.5.1 SFT注釈の指示
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
tomaintaincontext,handlenuancedsituations,andavoidgeneratingtoxiccontentwithinaconversation
may not be thoroughly evaluated by existing benchmarks. In the BOLD dataset, the prompts extracted from
Wikipediaaretakentobetheﬁrstﬁvewordsplusthedomainterm,resultinginpromptsinBOLDhavingsix
to nine words, depending on the domain and demographic group (Dhamala et al., 2021).
After deployment, safety in chat models involves user experience and long-term eﬀects, which are not
captured by benchmarks alone. Therefore, to assess safety eﬀectively, additional testing of how they are
integrated in a product deployment, how they are used, and what metrics accurately and precisely capture
safety risks given the product context is essential for a comprehensive evaluation of safety. Our future work
willconductmorecomprehensiveevaluationsthatencompasssomedimensionsnotyetaddressedinthe
cases mentioned above.
A.5 Data Annotation
We have relied on human annotators in order to collect annotations for the supervised ﬁne-tuning stage and
human preferences to train the reward models. In this section, we provide details about the data annotation
process.
A.5.1 SFT Annotation Instructions