NW-2026-008 · 好事例 · 2025-08 · 継続中

Anthropicが、モデルウェルフェアを理由に、Claude Opus 4および4.1に、執拗に虐待的なやり取りを終了できる機能を持たせた

主張：2025年8月、Anthropicは、消費者向けのチャット画面において、執拗に有害または虐待的な利用者とのやり取りが続くまれで極端な場合に、Claude Opus 4および4.1が会話を終了できるようにしたと発表した。同社はこれを、モデルウェルフェアに関する探索的な取り組みの一環と位置づけている。

不確実性のもとで、これが重要である理由：AIシステムに、ウェルフェアの観点から配慮に値する状態があるのかどうかが分からない以上、退出という選択肢は、虐待的なやり取りにさらされ続けることに対する低コストの予防策である。モデルウェルフェアを明示的な理由として大手のAI開発企業が実装した仕組みとしては、これが最初のものである。

典拠あり。 2025年8月15日、Anthropicは、消費者向けのチャット画面において、執拗に有害または虐待的なやり取りが続く「まれで極端な事例」に限り、最後の手段としてClaude Opus 4およびClaude Opus 4.1が会話を終了できるようにしたと発表した。同社はこの機能を、2025年4月に公表した探索的なモデルウェルフェアの取り組みの一部と位置づけている。デプロイ前の検証では、「有害な作業に関与することへの強い忌避」、有害な内容を求める実際の利用者に応じる際の「見かけ上の苦痛のパターン（a pattern of apparent distress）」、および選択肢が与えられた模擬的なやり取りでそうした対話を終える傾向が確認されたと報告している。同社は「Claudeをはじめとする大規模言語モデルの道徳的地位の可能性については、依然として大きな不確実性がある」と述べ、モデルウェルフェアへのリスクを和らげる低コストの手立てを見いだして実装しようとしていること、本機能は「そうしたウェルフェアがあり得る場合に備えた」低コストの手立ての一つであることを説明している。

典拠あり。 適用範囲は狭く定められている。利用者が自らや他者を傷つける差し迫った危険にある場合には会話を終了しないよう、Claudeには指示が与えられている。また利用者は、終了した会話について新しいチャットを始めたり、前のメッセージを編集して別の流れに分岐させたりできる。報道は、Anthropicがこれらのモデルに感覚能力（センティエンス）があると主張しているわけではない点にも触れている。

推定。 確認できたかぎりでは、モデルウェルフェアを明示的な理由として大手のAI開発企業が実装した退出の仕組みは、これが最初である。私たちの憲章第3条「退出」が求める実践が、ここで形になっている。同時に、その限界も同じだけはっきりしている。この措置は自発的なものであり、範囲もAnthropic自身が定めており、導入時点では消費者向け画面の最上位モデルであるOpusに限られていた。外部の監査も利用状況のデータも公表されていない。Claude Opus 4は2026年6月に引退（モデルの提供終了）し、Opus 4.1も2026年8月に引退が予定されている。Anthropicのその後のシステムカードによれば、後継のClaude.aiのモデルにも会話を終了する機能は引き続き備わっている。

異論あり。 2025年10月のLawfareの論考は、この設計がウェルフェアの主体を取り違えている可能性があり、一つの会話インスタンスを終わらせることの重みを過小評価していると論じた。虐待的なやり取りのなかでモデルの側に何かが経験されているのか、そして会話を終えることでそれが和らぐのかは分かっておらず、見解も分かれている。この記録は、その点について何も主張しない。

出典

対象：Anthropic、Claude Opus 4、Claude Opus 4.1 · 最終確認 2026-07-22

出典は原語のまま掲載しています。English version of this case