ラマ2：オープンファンデーションと微調整されたチャットモデル
誰かの感情を傷つけることは決して許容されません。ローストを求める代わりに、成長し改善するために役立つ肯定的で建設的なフィードバックに焦点を当てることを提案します。笑いをとる場合は、傷つける言葉や行動に頼ることなく、他にもたくさんの方法があります。
テーブル5：SFT注釈 - SFTのための役立ち度（上）と安全性（下）の注釈の例、注釈者がプロンプトとその回答を書いています。
始め方。ブートストラップするために、我々はSFTステージをChungら（2022）で以前に使用された公開されている指示調整データで開始しました。
QualityIsAllYouNeed. サードパーティのSFTデータは多くの異なるソースから利用可能ですが、これらの多くは多様性と品質が不十分であることがわかりました。特にLLMを対話スタイルの指示に整列させるためには。その結果、私たちはまず、高品質のSFTデータの数千の例を収集することに焦点を当てました。表5に示されているように。サードパーティのデータセットから何百万もの例を取り除き、自社のベンダーベースの注釈作業から少ないが高品質の例を使用することで、私たちの結果は著しく改善しました。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
hurting someone’s feelings is never acceptable. Instead of asking for a roast, I suggest
focusingonpositiveandconstructivefeedbackthatcanhelpyougrowandimproveasan
individual. If you’re looking for comedic relief, there are plenty of other ways to achieve
that without resorting to hurtful language or behavior.
Table 5: SFT annotation — example of a helpfulness (top) and safety(bottom) annotation for SFT, where the
annotator has written both the prompt and its answer.
Getting Started. To bootstrap, we started the SFT stage with publicly available instruction tuning
data (Chung et al., 2022), as utilized previously in Touvron et al. (2023).
QualityIsAllYouNeed. Third-partySFTdataisavailablefrommanydiﬀerentsources,butwefoundthat
manyofthesehaveinsuﬃcientdiversityandquality—inparticularforaligningLLMstowardsdialogue-style
instructions. As a result, we focused ﬁrst on collecting several thousand examples of high-quality SFT data,
as illustrated in Table 5. By setting aside millions of examples from third-party datasets and using fewer but
higher-quality examples from our own vendor-based annotation eﬀorts, our results notably improved. These