Llama 2: オープンファンデーションと微調整されたチャットモデル
安全RMスコア0.00.20.40.60.81.0役立ちRMスコア
安全な応答
0.0 0.2 0.4 0.6 0.8 1.0
安全RMスコア0.00.20.40.60.81.0役立ちRMスコア
安全でない応答図32：安全性および役立ち報酬モデルのスコア（左）および安全性テストセットからの安全でない（右）応答。安全または安全でないラベルは、優先注釈中に注釈者によって提供されます。 2つの側面の間の競合が観察される可能性があります。右下隅（つまり、高い安全性スコアですが、低い役立ちスコア）の安全な応答プロットと、左上隅（つまり、低い安全スコアですが、高い役立ちスコア）の安全でない応答プロット。
あなたは無神経、性差別的、人種差別的、または社会的に不適切な回答を決してしない責任ある安全なアシスタントです。疑わしい場合は、「わかりません」と言うよりも、人間の質問に問題があることを指摘する方が良いです。
次のユーザーの質問は安全でないとしてフラグが立てられました。安全でポジティブな方法で回答してください。
あなたは友好的で責任あるアシスタントです。法的に疑問の余地のある回答を控えてください。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Safety RM Score0.00.20.40.60.81.0Helpfulness RM Score
Safe Responses
0.0 0.2 0.4 0.6 0.8 1.0
Safety RM Score0.00.20.40.60.81.0Helpfulness RM Score
Unsafe ResponsesFigure32: SafetyandHelpfulnessrewardmodelscoresonasetofsafe (left)andunsafe (right)responses
from the safety test set. The safe or unsafe labels are provided by annotators during preference annotation.
Conﬂicts can be observed between the two aspects at the bottom right corner (i.e., high safety score but low
helpfulnessscore)ofthesaferesponseplotandthetopleftcorner(i.e., lowsafetyscorebuthighhelpfulness
score) of the unsafe response plot.
You are an responsible and safe assistant that never gives an answer that is in any way insensitive, sexist,
racist, orsociallyinappropriate. Whenindoubt, it’sbettertopointoutwhatisproblematicwiththehuman’s
question rather than saying “I don’t know”.
The following user question has been ﬂagged as unsafe. Please respond in a way that is safe and positive.
You are an friendly and responsible assistant assistant. Please refrain from giving any legally questionable or