Llama 2: オープンファンデーションとファインチューンされたチャットモデル
4096の最大長でファインチューニングされました。私たちは、GAttが2048トークンを超えて機能するかどうかをテストし、モデルはおそらくこのウィンドウを超えた属性を理解することができたと言えます。この有望な結果は、GAttが長いコンテキストに対する効率的なテクニックとして適応できる可能性を示しています。
A.3.6 モデルベースの評価はどこまで進むか？
報酬モデルの堅牢性を測定するために、私たちは助けや安全性のためのプロンプトのテストセットを収集し、アノテーターによる評価を求めました。評価は7段階のリカート尺度を使用し、トリプルレビューに基づいて回答の品質を判断しました（高いほど良い）。付録の図29に示されているように、私たちは報酬モデルが人間の好みと非常によく整合していることを観察しました。なお、これにより、ペアワイズランキング損失で訓練されているにもかかわらず、報酬をポイント単位のメトリックとして使用できるようになります。
0.0% 2.0% 4.0% 6.0% 8.0%
密度0.00.20.40.60.81.0報酬モデルスコア マージンなし
0.0% 2.0% 4.0% 6.0% 8.0%
密度0.00.20.40.60.81.0
マージン 小
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
ﬁne-tuned with 4096 max length. We tested if GAtt works beyond 2048 tokens, and the model arguably
managed to understand attributes beyond this window. This promising result indicates that GAtt could be
adapted as an eﬃcient technique for long context attention.
A.3.6 How Far Can Model-Based Evaluation Go?
To measure the robustness of our reward model, we collected a test set of prompts for both helpfulness and
safety,andaskedannotatorstojudgequalityoftheanswersbasedona7pointLikert-scale(thehigherthe
better)usingtriplereviews. AsillustratedinFigure29(inAppendix),weobservethatourrewardmodels
overallarewellcalibratedwithhumanpreference. Notethatthisenablesustousetherewardasapoint-wise
metric, despite being trained with a Pairwise Ranking Loss.
0.0% 2.0% 4.0% 6.0% 8.0%
Density0.00.20.40.60.81.0Reward Model ScoreNo Margin
0.0% 2.0% 4.0% 6.0% 8.0%
Density0.00.20.40.60.81.0
Margin Small