Llama 2: オープンファンデーションとファインチューンされたチャットモデル
3.4.1 モデルベースの評価
LLMsの評価は難しいオープンリサーチの課題です。人間の評価はゴールドスタンダードですが、さまざまなHCIの考慮事項によって複雑になることがあります（Clark et al.、2021年；Gehrmann et al.、2023年）、そして常にスケーラブルではありません。したがって、RLHF-V1からV5までの各イテレーションでいくつかの削減モデルの中で最もパフォーマンスの良いモデルを選択するために、まず最新の報酬モデルからの報酬の改善を観察し、コストを節約しイテレーションの速度を上げました。後に、主要なモデルバージョンを人間の評価で検証しました。
モデルベースの評価はどこまで進むのか？報酬モデルの堅牢性を測定するために、助けや安全性の両方のプロンプトのテストセットを収集し、3人の注釈者によって回答の品質を7段階のLikertスケールで判断してもらいました（高いほど良い）。付録の図29に示されているように、報酬モデルは全体的に人間の好みの注釈とよく整合していることがわかります。これにより、ペアワイズランキング損失で訓練されたにもかかわらず、報酬をポイント単位のメトリックとして使用することの関連性が確認されます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
3.4.1 Model-Based Evaluation
EvaluatingLLMsisachallengingopen-researchproblem. Humanevaluation,whileagoldstandard,can
be complicated by various HCI considerations (Clark et al., 2021; Gehrmann et al., 2023), and is not always
scalable. Thus, to select the best-performing models among several ablations at each iteration from RLHF-V1
toV5,weﬁrstobservedtheimprovementoftherewardsfromthelatestrewardmodels,tosavecostsand
increase iteration speed. We later validated major model versions with human evaluations.
HowFarCanModel-BasedEvaluationGo? To measuretherobustness of ourreward model, we collected
a test setof prompts for both helpfulnessand safety, andasked three annotators tojudgethe quality of the
answersbasedona7-pointLikertscale(thehigherthebetter). Weobservethatourrewardmodelsoverall
are well calibrated with our human preference annotations, as illustrated in Figure 29 in the appendix. This
conﬁrms the relevance of using our reward as a point-wise metric, despite being trained with a Pairwise
Ranking Loss.