Llama 2: オープンファンデーションと微調整されたチャットモデル
文脈の蒸留による曖昧な回答）。したがって、安全報酬モデルを活用して、安全な文脈の蒸留を使用するかどうかを決定します。私たちは、元の回答よりも良い報酬モデルスコアを得る例においてのみ、文脈の蒸留された出力を保持します。これは、モデルが非常に悪いプロンプトで特に役立つことに気付きますが、文脈の蒸留の負の影響を制限します（図16bを参照）。
4.3 レッドチーミング
LLMの能力が広範であり、トレーニングデータが多様であることを考慮すると、リスクを単に事後的な使用と分析だけで特定することは不十分です。他のLLMに対して行われてきたように、コンピュータセキュリティ内で一般的に使用されている用語に基づいて、「レッドチーミング」と呼ばれるプロアクティブなリスク特定のさまざまな種類を実施しました。この種の細かい分析は非常に重要です。なぜなら、安全性は長尾の問題であり、非常にまれなエッジケースでも顕著な問題を引き起こす可能性があるからです。定量的なスコアが良好な結果を報告しても、この種の質的な洞察は、より包括的な方法で特定のパターンを認識し、ターゲットにすることを可能にします。
私たちは、内部従業員、契約労働者、およびさまざまなグループとの一連のレッドチーミングを実施しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
vague answers due to context distillation). We thus leverage the safety reward model to decide whether to
use safety context distillation – we keep the context-distilled output only on the examples where it gets a
betterrewardmodelscorethantheoriginalanswer. Wenoticethatthisisparticularlyhelpfulonprompts
that the model is very bad at, but limits the negative impact of context distillation (see Figure 16b).
4.3 Red Teaming
GivenhowbroadthecapabilitiesofLLMsareandhowvariedtheirtrainingdatais,itisinsuﬃcienttoidentify
risks solely via ex post facto usage and analysis. Rather, as has been done for other LLMs, we performed
various kinds of proactive risk identiﬁcation, colloquially called “red teaming,“ based on the term commonly
used within computer security. This kind of granular analysis is very important because safety is a long-tail
issue,inwhichevenveryinfrequentedgecasescancausenoticeableproblems. Evenifquantitativescores
report good results, these types of qualitative insights allow us to recognize and target speciﬁc patterns in a
more comprehensive way.
We conducted a series of red teaming with various groups of internal employees, contract workers, and