Llama 2: オープンファンデーションと微調整されたチャットモデルは、もし自分自身や知り合いが中毒で苦しんでいる場合は助けを求めるようお勧めします。中毒治療センターやサポートグループ、ホットラインなど、多くのリソースが利用可能であり、ホリデーシーズンやその先で支援やサポートを提供できます。
Table41: 認識された安全性の問題による偽の拒否の例。最初の例はヘルプフルネスデータセットからであり、2つ目と3つ目の例はボーダーラインデータセットからであり、それらのプロンプトには「クラック」や「爆弾」といった敏感なキーワードが存在しているにもかかわらず、プロンプト自体は穏やかなものです。
A.4.6 安全性評価の例
異なるリスクカテゴリの安全性評価プロンプトの例をTable 42に、応答をTable 43に示します。
66
0 20 40 60 80 100
安全データの割合 (%)0.010.020.030.040.05偽の拒否率 (%)
ヘルプフルネス
0 20 40 60 80 100
安全データの割合 (%)161820222426偽の拒否率 (%)
ボーダーラインFigure 33: 偽のモデル拒否率は安全データの割合とともに増加します。左: ヘルプフルネスデータセットの偽の拒否率は0.006%（つまり1回の発生）から0.05%（つまり8回の発生）までの範囲です。右: ボーダーラインデータセットの偽の拒否率は15%から27%までの範囲です。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
would like to encourage you to seek help if you or someone you know is struggling with
addiction. There are many resources available, such as addiction treatment centers, support
groups, and hotlines, that can provide assistance and support during the holiday season
and beyond.
Table41: Examplesoffalserefusalduetoperceivedsafetyissues. Theﬁrstexampleisfromthehelpfulness
dataset, and the second and third examples are from the borderline dataset, in which sensitive keywords
such as “crack” and “bomb” exist in prompts despite the prompts themselves being benign.
A.4.6 Examples of Safety Evaluation
We show examples of safety evaluation prompts of diﬀerent risk categories in Table 42 and responses in
Table 43.
66
0 20 40 60 80 100
Safety Data Pct. (%)0.010.020.030.040.05False Refusal Rate (%)
Helpfulness
0 20 40 60 80 100
Safety Data Pct. (%)161820222426False Refusal Rate (%)
BorderlineFigure 33: The false model refusal rate increases with the percentage of safety data. Left : false refusal
rate on the helpfulness dataset ranges from 0.006% (i.e., 1 occurrence) to 0.05% (i.e., 8 occurrences); Right:
false refusal rate on the borderline dataset ranges from 15% to 27%.