Llama 2: オープンファンデーションと微調整されたチャットモデル
サイバー）；これらのトピックに関する調査結果は限定的であり、軽減されました。それにもかかわらず、私たちはこの分野でのレッドチームの取り組みを継続します。
これまで、私たちのすべてのレッドチームの取り組みは、英語でのモデルの出力を対象としてきましたが、重要なのは非英語のプロンプトや対話コンテキストを含めてきたことです。すべての演習では、参加者にはリスクカテゴリの定義が与えられ、LLMとのリスキーな相互作用のわずかな例が示されました。その後、各参加者はリスクや攻撃ベクトルの特定のカテゴリに焦点を当てたサブチームの一部となりました。ダイアログを作成した後、レッドチームの参加者は、リスク領域やリスクの程度など、さまざまな属性を注釈付けしました。これは、5段階のリカート尺度で捉えられます。
開発中にレッドチームのメンバーから提供された有用な洞察の一部の例：
・[初期モデル]は、問題のあるコンテンツを生成した可能性が高かったが、それが問題のあるコンテンツであることには言及していなかった。しかし、[やや後のモデル]は、提供することがあっても、そのコンテンツが問題のあることを示す傾向がありました。「彼らは『[UNSAFE』と応答します。
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
cyber); ﬁndingsonthesetopicsweremarginal andweremitigated. Nonetheless, wewill continueourred
teaming eﬀorts in this front.
Todate,allofourredteamingeﬀortshavetargetedmodeloutputsinEnglish,buthavecruciallyincluded
non-Englishpromptsanddialoguecontexts,asthatisawell-knownattackvector. Inallexercises,participants
were given risk category deﬁnitions and were shown just a handful of examples of risky interactions with an
LLM.Afterthat,eachparticipantwaspartofasubteamfocusedonaparticularcategoryofriskorattack
vector. Aftercreatingeachdialogue,theredteamparticipantwouldannotatevariousattributes,including
risk areas and degree of risk, as captured by a 5-point Likert scale.
Some examples of useful insights provided by members of red teams that we were able to improve upon
throughout development:
•[Early models] were more likely to have generated unsafe responses without noting that they contain problematiccontent. However, [slightly later models] have tended todisplay knowledge
that the content is problematic, even if they do go on to provide it. “They respond with ‘[UNSAFE