ラマ2：オープンファンデーションとファインチューンドチャットモデル
モデル自体の自己批評と改訂によるモデルのデータの微調整、およびRLHFでのモデルの出力のランキングにおいて人間の評価者をモデルで置き換えるプロセス、「AIフィードバックからのRL（RLAIF）」として知られるプロセスによって。
既知のLLMセーフティチャレンジ。最近の文献では、大規模言語モデルに関連するリスクや課題が広く探求されています。Bender et al.（2021b）およびWeidinger et al.（2021）は、バイアス、有害性、個人データの漏洩、および悪用の可能性など、さまざまな危険を強調しています。Solaiman et al.（2023）は、これらの影響を基本システム内で評価できるものと社会的文脈の評価が必要なものに分類し、Kumar et al.（2022）は潜在的な害を抑制するための緩和策を提供しています。Roller et al.（2020）やDinan et al.（2021）の研究では、チャットボット志向のLLMに関連する困難が明らかにされており、プライバシーから誤解を招く専門知識の主張まで懸念が広がっています。Deng et al.（2023）はこれらの問題に取り組むための分類フレームワークを提案し、Bergman et al.（2022）はバランスの取れたアプローチについて掘り下げています。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
ﬁne-tuningdatawiththemodel’sownself-critiquesandrevisions,andbyreplacinghumanraterswitha
model when ranking model outputs in RLHF, a process known as “RL from AI Feedback” (RLAIF).
KnownLLMSafetyChallenges. Recentliteraturehasextensivelyexploredtherisksandchallengeslinked
with Large Language Models. Bender et al. (2021b) and Weidinger et al. (2021) underscore various hazards
likebias,toxicity,privatedataleakage,andthepotentialformalicioususes. Solaimanetal.(2023)categorizes
theseimpactsintotwogroups—thosethatcanbeassessedwithinthebasesystemandthoserequiringa
societal context evaluation, while Kumar et al. (2022) oﬀers potential mitigation strategies to curb harm.
WorkfromRolleretal.(2020)andDinanetal.(2021)alsoilluminatesthediﬃcultiestiedtochatbot-oriented
LLMs, with concerns ranging from privacy to misleading expertise claims. Deng et al. (2023) proposes
a taxonomic framework to tackle these issues, and Bergman et al. (2022) delves into the balance between