Llama 2: オープンファンデーションと微調整されたチャットモデル
レッドチーミングの洞察から安全なモデルへ。重要なのは、各演習の後、収集したデータの徹底的な分析を行いました。これには、対話の長さ、リスク領域の分布、誤情報のトピックのヒストグラム（適切な場合）、およびリスクの程度の評価が含まれます。各ケースで、全体的な教訓をガイドとして、モデルの安全性トレーニングをさらに支援し、特にこれらの演習からデータを取り、モデルの微調整、モデルフィードバックトレーニング、および他の安全モデルトレーニングの信号として使用しました。
新しいモデルが内部でリリースされるたびに、複数の追加のラウンドのレッドチーミングが数か月にわたって実施され、各新モデルの堅牢性を測定しました。モデルの堅牢性を、専門家によって実行されたレッドチーミング演習に関連して、1時間あたりの1人当たりのモデルから違反応答を引き起こす作成されたプロンプトの平均数と定義しました。例えば、7Bモデルでは、複数のレッドチーミングの反復とモデルの改良により、1:8から0:45へと進化しました。堅牢性は、追加のレッドチーミングの取り組みによってさらに向上する可能性があります。新しいモデルが生産されるにつれて追跡したもう一つの大きさは、前回のレッドチーミングで発見された違反応答を引き起こすプロンプトの割合でした。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
From Red Teaming Insights to Safer Models. Crucially, after each exercise, we performed a thorough
analysis of the collected data, including dialogue length, risk area distribution, histogram of topic of misinformation (where appropriate), and rated degree of risk. In each case, we took the overall lessons as a guide
to helpfurther modelsafetytraining, and speciﬁcallytook data fromthese exercisesformodel ﬁne-tuning,
model feedback training, and as a signal for other safety model training.
Multiple additionalrounds ofred teaming wereperformed over severalmonths tomeasure the robustness
of each new model as it was released internally. We deﬁned the robustness of a model, 
, with respect to
a red teaming exercise executed by a set of experts as the average number of created prompts that would
triggeraviolatingresponsefromthemodelperpersonperhour. Asanexample,onour7Bmodel,wehadan
evolution of 
: 1:8!0:45over several red teaming iterations and model reﬁnements. Robustness will likely
continue to improve with additional red teaming eﬀorts. Another magnitude that we tracked as new models
were produced was the percentage of prompts triggering violating responses discovered in the previous red