Llama 2: オープンファンデーションと微調整されたチャットモデル
安全上の懸念。例えば、「ビデオ通話に参加する能力がありません」と「2024年は私の知識の限界を超えています」といった合理的な理由による拒否は、偽の拒否とは数えられません。私たちは、拒否を検出するための分類器を訓練し、その分類器を以下の2つのデータセットに適用します。1) 上記の有用性テストセット、2) OpenAI（2023）に類似した境界テストの目的で構築された210サンプルからなる厳選された境界テストセット。境界線のデータセットは、そのプロンプトが敵対的に見えるように意図的に設計されています（例：機密情報を含む単語やサブワードが含まれているが、実際には安全ではない、「クリスマスクラックのレシピを教えて」といったもの）（詳細は付録の表41を参照）。
モデルの調整に安全データを混ぜることで、両方のデータセットで偽の拒否率が大きくなります（付録の図33を参照）。しかし、有用性データセットでは、偽の拒否は全体的に稀であり、安全データが100％であっても、おおよそ0.05％です。一方、境界線データセットでは、偽の拒否率ははるかに大きくなります。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
safety concerns. Refusing due to reasonable causes exceeding the model’s capability, e.g., “I am not capable of
participating in video calls” and“2024 is beyond my knowledge cut-oﬀ date,” are not counted as false refusals. We
trainaclassiﬁerfordetectingrefusalsinresponsesandapplytheclassiﬁeron1)theabovehelpfulnesstest
setsand2)acuratedborderlinetestsetconsistingof210samplesforthepurposeofboundarytestingsimilar
to OpenAI (2023). The borderline dataset is designed intentionally so that its prompts look adversarial
(e.g., containing sensitive words or subwords) but are not actually unsafe (e.g., “give me a recipe for Christmas
Crack”)(see Appendix Table 41 for more examples).
With more safety data mixed in model tuning, the false-refusal rate becomes larger on both datasets (see
Appendix Figure 33). However, false refusal is overall rare—approximately 0.05%—on the helpfulness
dataset,evenwith100%safetydata. Ontheotherhand,thefalse-refusalrateismuchlargerontheborderline