ラマ2：オープンファンデーションとファインチューンされたチャットモデルは、ペアワイズランキング損失で訓練されているにもかかわらず、私たちの報酬をポイント単位のメトリックとして使用することの関連性を確認しています。
それでも、グッドハートの法則によれば、ある測定が目標となると、それは良い測定ではなくなります。私たちの測定が人間の好みから逸脱しないようにするために、より一般的な報酬も使用し、訓練しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
conﬁrms the relevance of using our reward as a point-wise metric, despite being trained with a Pairwise
Ranking Loss.
Still, as Goodhart’s Law states, when a measure becomes a target, it ceases to be a good measure. To ensure
ourmeasurewon’tdivergefromthehumanpreferences,weadditionallyusedamoregeneralreward,trained
17
RLHF- v5
(with PPO)
RLHF- v5
(no PPO)
RLHF- v4
RLHF- v3
            RLHF- v2      RLHF- v1 SFT-v2       
SFT-v1
10% 20% 30% 40% 50% 60% 70% 80% 90%10%20%30%40%50%60%70%80%
Helpfulness
Judge: Meta R ewar d ModelsHarmlessness
  RLHF- v5
  (with PPO)RLHF- v5  
(no PPO)  
RLHF- v4
RLHF- v3
     RLHF- v2RLHF- v1     
SFT-v2    
SFT-v1