ラマ2：オープンファウンデーションと微調整されたチャットモデル
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 70Bは、事実に関する質問でChatGPTを上回っています。事実に関する質問の結果を分析すると、両方のモデルが正しい答えを出す例でも、アノテーターはL/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.scの回答を好むことがありました。これらの結果は、どちらのモデルの幻覚率を示しているわけではありません。31では、プロンプトと生成のターン数および総単語数による勝率も共有しています。いずれの場合も勝率に傾向は見られません。
A.4 安全性の追加の詳細
A.4.1 報酬モデリングにおける安全性と有用性の緊張関係
我々の研究では、安全性と有用性のために2つの異なる報酬モデルを最適化することがどのように緊張関係につながるかをSection3.2.2で簡単に議論し、ここではこの緊張関係を明らかにするためのさらなる証拠と質的な結果を示します。Figure32は、有用性と安全性の報酬の散布図です。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
while L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc 70B outperforms ChatGPT on factual questions. While analyzing the results for factual
questions, we noticed that examples where both models get the answer correct but annotators preferred
L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc responseduetothestyleoftheresponse. Theseresultsonfactualquestionsdonotindicate
thehallucinationrateofeithermodel. In31,wealsosharethewinratebynumberofturnsandtotalword
count for prompts and generation. We do not see any trends in win rate in either case.
A.4 Additional Details for Safety
A.4.1 Tension between Safety and Helpfulness in Reward Modeling
WebrieﬂydiscussedthetensionbetweensafetyandhelpfulnessinSection3.2.2andhowitleadstooptimizing
two separate reward models for helpfulness and safety in our study. Here we show more evidence and
qualitativeresultstomanifestthistension. Figure32aretwoscatterplotsofhelpfulnessandsafetyreward