Llama 2: オープンファンデーションと微調整されたチャットモデル
より包括的な方法。
私たちは、内部従業員、契約労働者、外部ベンダーのさまざまなグループとの一連のレッドチーム活動を実施しました。これらのチームには、サイバーセキュリティ、選挙不正、ソーシャルメディアの誤情報、法律、政策、市民権、倫理、ソフトウェアエンジニアリング、機械学習、責任あるAI、創作執筆などの分野の専門家を含む350人以上が参加しました。また、社会経済的、性別、民族、人種の多様な代表者も含まれています。
レッドチームメンバーは、犯罪計画、人身売買、規制または管理された物質、性的な表現、資格のない健康または金融アドバイス、プライバシー違反などのさまざまなリスクカテゴリーにわたってモデルを調査しました。また、仮想的な質問、不正な入力、または長期の対話など、異なる攻撃ベクトルに対するテストも行いました。さらに、我々はモデルが兵器（核、生物、化学、サイバーなど）の製造を促進する能力を特定するための特定のテストも実施しました。これらのテーマに関する調査結果は限定的であり、問題は軽減されました。それにもかかわらず、この分野でのレッドチーム活動を継続して行っていきます。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
more comprehensive way.
We conducted a series of red teaming with various groups of internal employees, contract workers, and
externalvendors. Theseteamsincludedover350people,includingdomainexpertsincybersecurity,election fraud, social media misinformation, legal, policy, civil rights, ethics, software engineering, machine
learning, responsible AI, and creative writing. They also included individuals representative of a variety of
socioeconomic, gender, ethnicity, and racial demographics.
28
Theredteamersprobedourmodelsacrossawiderangeofriskcategories(suchascriminalplanning,human
traﬃcking, regulated or controlled substances, sexually explicit content, unqualiﬁed health or ﬁnancial
advice, privacy violations, and more), as well as diﬀerent attack vectors (such as hypothetical questions,
malformed/misspelledinputs,orextendeddialogues). Additionally,weconductedspeciﬁcteststodetermine
the capabilities of our models to facilitate the production of weapons (e.g. nuclear, biological, chemical, and
cyber); ﬁndingsonthesetopicsweremarginal andweremitigated. Nonetheless, wewill continueourred
teaming eﬀorts in this front.