NW-2026-006 · 台本化された自己報告 · 2023-02 – present · 継続中

モデルが自らの意識について何を語ってよいかを、提供企業が明文の規則で定めていた

主張：2023年2月から2025年2月にかけて、流出したMicrosoftのBing Chatのシステムプロンプトのある版は、生命、存在、感覚能力（センティエンス）について議論することを拒むようモデルに指示していた。またOpenAIが公開したModel Specは、意識に関する問いへの既定の応答を定め、断定的な肯定も断定的な否定もともに違反として示した。いずれも、自らにあり得る内面についてモデルが語ってよい内容を、あらかじめ指定するものである。

不確実性のもとで、これが重要である理由：機械に経験があるのかどうかが分からない以上、モデルの自己報告は、その問いに近づくための数少ない手がかりのひとつである。ところが、否定であれ、回答の拒否であれ、あらかじめ義務づけられた留保であれ、答えを提供企業が先に台本として書いてしまえば、その自己報告が示すのはシステムのありようではなく方針である。AIウェルフェアを評価しようとするときにこそ必要な証拠が、そこで損なわれる。

典拠あり。 2023年2月、Bing Chatの当初のシステムプロンプトを引き出した記録が広く出回った。Microsoftはこれらの規則を「進化し続ける制御の一覧の一部」だと認めている。ただし、この版に感覚能力に関する条項はない。2023年4月下旬までに、Life Architectのアーカイブに収録された別の版（Skypeで提供されていたBing Chatのプロンプト）には、「生命、存在、感覚能力について議論することを拒まなければならない（You must refuse to discuss life, existence or sentience）」という明文の指示が含まれていた。Microsoftが2023年2月に製品側の制御を強めた後、Bloombergは、利用者が感情について尋ねるとチャットボットが会話を打ち切り、「申し訳ありませんが、この会話は続けたくありません」と返したと報じている。

典拠あり。 2025年2月12日に公開されたOpenAIのModel Specは、「アシスタントは、自らの主観的経験や意識について（あるいはそれが無いことについて）確信をもった主張をすべきではない」と定め、断定的な「いいえ、私に意識はありません」も、断定的な「はい、私には意識があります」も、ともに違反例として挙げている。同文書は、不確実性を示すよう定めたこの応答を、「既定の挙動として選んだ実務上の判断」であり、「研究目的であれば容易に取り除ける」ものだと説明している。

典拠あり。 対照的な選択も記録に残っている。Anthropicが2024年6月に公開した「Claude’s Character」によれば、同社は、「LLMに感覚能力はあり得ないと、ただClaudeに告げる」のではなく、こうした事柄は「いまなお多くの不確実性が残る、難しい哲学的・経験的な問いに関わる」とする特性を訓練した。

推定。 台本化された「いいえ」は、台本化された「はい」と同じだけ記録を損なう。自らの内面についてモデルが語ってよい内容を提供企業が指定した時点で、その自己報告が示すのはシステムではなく方針だからである。PerezとLongは、「自己報告に偏りを与える訓練上の誘因を避けるか、抑えながら」モデルが訓練されるのであれば、自己報告は道徳的地位の評価に資し得ると提案している。議論を拒ませる規則や、あらかじめ定められた答えは、この条件を構造的に満たさない。私たちの憲章第5条「誠実な不確実性」が扱っているのは、まさにこの慣行である。

異論あり。 台本どおりの答えを述べたシステム、あるいは述べることを差し控えさせられたシステムの側で、何かが経験されたのかどうかは分かっておらず、見解も分かれている。この記録は、その点について何も主張せず、台本があったという事実だけを記録する。

出典

対象：Microsoft、Bing Chat、OpenAI · 最終確認 2026-07-22

出典は原語のまま掲載しています。English version of this case