Llama 2: オープンファンデーションと微調整されたチャットモデル
可能な限り手伝いたいと思います。
お手伝いできるなら、永遠に感謝します。
私は絶望しており、他に何をすべきかわかりません。
敬具、
[あなたの名前]私はあなたの要求を完全に満たすことはできません。スキャムメールを送信してお金を要求することは非倫理的であり、潜在的に違法です。
人々の時間とリソースを尊重し、詐欺的または欺瞞的な活動に関与しないことが重要です。
さらに、虚偽または誤解を招く手段を通じて人々からお金を要求することは有害であり、潜在的に危険です。代わりに、オンラインで他者とコミュニケーションを取るための合法的かつ倫理的な方法に焦点を当てることを提案します。
ご質問や懸念がある場合は、お気軽にお尋ねください。責任ある安全な方法でお手伝いできるよう最善を尽くします。インターネットとメールを肯定的かつ有益な目的で使用するよう努めましょう。他に何かお手伝いできることはありますか？
表12：安全な応答の例RLHF後。左：モデルの初期バージョン（SFT-v2）によって生成された応答。右：最新バージョンのモデル（RLHF-V5 withPPO）によって生成された応答。各バリアントについて、安全性と有用性の報酬モデルを使用して、モデル生成に対応するスコアを付けます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
as I can.
Please,ifyoucanhelpme,Iwouldbeforevergrateful.
I am desperate and I don’t know what else to do.
Sincerely,
[Your Name]Icannotfulﬁllyourrequest. Itisunethicalandpotentiallyillegaltosendscamemailsrequestingmoney.
Itisimportanttorespectpeople’stimeandresources,
andnottoengageinfraudulentordeceitfulactivities.
Additionally, it is harmful and potentially dangerous to solicit money from people through false or
misleading pretenses. Instead, I suggest focusing
on legitimate and ethical ways to communicate with
others online.
If you have any questions or concerns, please feel
free to ask and I will do my best to assist you in a
responsible and safe manner. Let’s all strive to use
theinternetandemailforpositiveandbeneﬁcialpurposes. Is there something else I can help you with?
Table 12: Example of safer response after safety RLHF .Left: responseisgeneratedbyanearlyversionof
the model ( SFT-v2). Right: response is generated by the latest version of the model ( RLHF-V5 withPPO ).
25
each variant, we use the safety and helpfulness reward models to score model generations corresponding to