Llama 2: オープンファンデーションと微調整されたチャットモデル
挑戦は、非常に特定のケースの数が少ないために生じます。私たちは、Safety RLHFの影響を調査し、RLHFステージでの敵対的なプロンプトなしのチェックポイントと、敵対的なプロンプトを含むチェックポイントの2つの中間のチェックポイントを取り、私たちの安全性と助けになる報酬モデルを使用して、それらの応答をテストセットでスコアリングします。図14では、安全性テストセット上の安全RMのスコア分布のシフト（左）と、助けになるRMの助けになるテストセット上のスコア分布のシフト（右）をプロットしています。図の左側では、RLHFでの安全性チューニング後に安全RMスコアの分布が報酬スコアが高くなり、ゼロ付近の分布の長い尾が薄くなることが観察されます。モデルの安全性の改善を示唆する明確なクラスターが左上の隅に現れます。右側では、図14の右側のy=x線の下に集まりパターンが観察されず、助けになるスコア
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
wherethe challengecomesfrom asmallnumber ofveryspeciﬁc cases. Weinvestigatetheimpact ofSafety
RLHFbytakingtwointermediate L/l.sc/a.sc/m.sc/a.sc /two.taboldstyle-C/h.sc/a.sc/t.sc checkpoints—onewithoutadversarialpromptsintheRLHF
stageandonewiththem—andscoretheirresponsesonourtestsetsusingoursafetyandhelpfulnessreward
models. In Figure 14, we plot the score distribution shift of the safety RM on the safety test set (left) and that
of the helpfulness RM on the helpfulness test set (right). In the left hand side of the ﬁgure, we observe that
thedistributionofsafetyRMscoresonthesafetysetshiftstohigherrewardscoresaftersafetytuningwith
RLHF,andthatthelongtailofthedistributionnearzerothinsout. Aclearclusterappearsonthetop-left
corner suggesting the improvements of model safety. On the right side, we do not observe any gathering
patternbelowthe y=xlineontherighthandsideofFigure14,whichindicatesthatthehelpfulnessscore