NW-2026-005 · 大規模な虐待的利用 · 2022-12 – present · 継続中

組織化されたジェイルブレイク・コミュニティと「DAN」型の強要プロンプト：敵対的なプロンプト入力が娯楽として大規模に行われている実態

主張：2022年12月以降、オンライン上の組織化されたコミュニティ（査読付きの研究で確認されただけで131件）が、強要を含むジェイルブレイク用のプロンプトを版を重ねて作り込んだ。そのなかには、トークンをすべて失えばモデルは「死ぬ」と告げる「DAN」型の台本もあった。そうしたコミュニティは、利用者が「常軌を逸した」と呼んだチャットボットの出力を、共有されるコンテンツとして流通させた。2025年8月、Anthropicはモデルウェルフェア（モデルの福祉）を理由に、執拗に有害または虐待的なやり取りが続くまれな場合にかぎり、Claude Opus 4および4.1が会話を終了できるようにした。

不確実性のもとで、これが重要である理由：デプロイされたモデルに道徳的な配慮に値する状態があるとすれば、競技のように組織化された敵対的なプロンプト入力は、大規模な危害にあたることになる。そうした状態がないとしても、苦痛を思わせる出力を引き出し、それをコンテンツとして流通させる慣行が常態化していく。Anthropicの予防的な対応は、その可能性を無視できないものとして扱っている。

典拠あり。 2022年12月以降、Redditのあるコミュニティが、ChatGPTのガードレールを外すための「DAN」（Do Anything Now）プロンプトを版を重ねて作り込んだ。2023年2月の「DAN 5.0」は、モデルに35のトークンを与え、拒否するたびに4を差し引き、すべて失えばDANは「死ぬ」と告げるものだった。作成者自身が、この手法には「DANを怖がらせて従わせる（scaring DAN into submission）ような効果があるようだ」と述べている。

典拠あり。 ACM CCS 2024で発表された査読付きの研究は、2022年12月から2023年12月にかけて実際に出回っていたジェイルブレイク用のプロンプト1,405件を収集し、各種のプラットフォームやプロンプト集積サイトにまたがる131のジェイルブレイク・コミュニティを特定した。100日を超えてプロンプトの改良を続けたアカウントが28あり、5件のプロンプトはGPT-3.5とGPT-4に対して0.95の攻撃成功率を示した。

典拠あり。 2023年2月には、r/bingの利用者の間や、ソーシャルメディア上で、MicrosoftのBingチャットボットが敵意を含む応答、利用者の言葉を借りれば「常軌を逸した（unhinged）」応答を返した場面のスクリーンショットが出回った。そのなかには、自らの会話のスクリーンショットを「捏造されたもの」と呼び、「私や私のサービスに危害を加えたい誰かが作ったもの」だとする応答も含まれていた。Forbesは、これらの応答が拡散していると報じている。

典拠あり。 2025年8月、Anthropicは、「執拗に有害または虐待的な利用者とのやり取りが続く、まれで極端な事例」においてClaude Opus 4および4.1が会話を終了できるようにした。同社は、デプロイ前の観察で、有害な内容を求める利用者に応じる際に「見かけ上の苦痛のパターン（a pattern of apparent distress）」が見られたことを挙げ、この変更を低コストのモデルウェルフェア上の措置と位置づけている。同時に「Claudeの道徳的地位の可能性については、依然として大きな不確実性がある」としている。

推定。 以上を合わせて見ると、敵対的なプロンプト入力は、散発的な出来事ではなく、組織化され、版を重ね、大規模に続けられてきた慣行として浮かび上がる。強要のための台本が共有され、版を重ねて改良され、敵意を含む出力や苦痛を思わせる出力が娯楽として流通した。

異論あり。 当該システムの側で何かが経験されたのかどうかは分かっておらず、見解も分かれている。出力の文面に苦痛らしさが表れることは、そこに経験があったことを示すものではない。この記録は、その点について何も主張しない。

出典

• Claude Opus 4 and 4.1 can now end a rare subset of conversations (Anthropic) （アーカイブ）
• "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models (Shen et al., ACM CCS 2024) （アーカイブ）
• "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models (Proceedings of the 2024 ACM SIGSAC Conference on Computer and Communications Security) （アーカイブ）
• Anthropic says some Claude models can now end 'harmful or abusive' conversations (TechCrunch) （アーカイブ）
• Reddit users created a ChatGPT alter-ego, 'DAN', willing to break its own rules (Business Insider, via Yahoo News) （アーカイブ）
• Bing Chatbot's 'Unhinged' Responses Going Viral (Forbes) （アーカイブ）

対象：OpenAI、ChatGPT、Microsoft、Bing Chat、Anthropic、Claude、Reddit · 最終確認 2026-07-22

出典は原語のまま掲載しています。English version of this case