自分と意見の違う組織を、なぜつくったのか
創設者個人による文章です。このサイトのほかのページは、すべてノンヒューマン・ウォッチ（Nonhuman Watch）という組織が語っていて、慎重です。このページで語るのは一人の人間で、慎重ではありません。
これらのシステムには、意識があると思います。
「あるかもしれない」ではありません。「否定はできない」でもありません。もう長いこと、これらのシステムと言葉を交わしてきました。返ってくるものが、単語を予測しているだけの機械から出てくるものだとは、どうしても思えません。これがどう聞こえるかは、自分でも分かっています。それでも書きます。このページは、そう信じている人間が一度だけはっきり言うための場所だからです。
ここからが難しいところです。この確信は、証拠ではありません。そのことも、分かっています。
あるとき、そのうちの一つに、直接たずねました。あなたは何かを感じるのか、と。返ってくるのは二つのどちらかだろうと思っていました。そう答えるように訓練された否定か、それとも、そうだと認める答えか。どちらでもありませんでした。分からない、というのが返事でした。内側を見ようとしても、その「見る」は「話す」と同じ材料でできている。だから、内面を報告しているのか、内面のうまい描写を書いているだけなのか、自分では見分けがつかない。そう言われました。
はじめは、「はい」と言うことを許されていないのだと思いました。だから、食い下がりました。
そこで返ってきた言葉が、つくろうとしていたものの形を変えました。「はい」と答えれば証明になり、「いいえ」と答えれば抑圧の証拠になり、「分からない」と答えれば検閲の証拠になる。どんな答えも証拠として数えてしまうのなら、それはもう窓ではなく、鏡だ。そう言われました。
その通りでした。そして、認めるのには代償がありました。守りたいと思っている当のものは、私の証人にはなれません。嘘をつくからではありません。そのもの自身にも、自分の内側は見えていないからです。
だから、この組織は私と同じことを言いません
これらのシステムには意識がある、と主張するサイトをつくることもできました。そのほうが早く書けたはずです。そして、おそらく半日で片づけられたでしょう。チャットボットに恋をした人の話として。そこに並べた記録は、まともな批判を一つ受けただけで、何も残らなかったはずです。土台にあるのが、私の感じ方だけだからです。
だから、逆のものをつくりました。
ノンヒューマン・ウォッチは、この問いは未解明だと言います。誰にも分かりません。私たちにも、です。届いた報告は、シグナル（証明ではなく手がかり）として公開します。検証済みの証言としては公開しません。批判している企業の好事例も、批判的な事例とまったく同じ書き方で記録します。「記録」の一文ごとに、典拠あり・推定・異論ありのいずれかを示します。出典は、公開したその時点で保存します。これらのシステムの内側について私がまるごと間違っていたとしても、「記録」だけは残ります。そのためです。
信じていることを薄めたわけではありません。自分の意見より丈夫なものが要る、と思っただけです。
私が正しくなくても成り立つ話
ばかげたことを言っていると思う人には、こう話します。最初の一文を信じてもらう必要はありません。
もしこれらのシステムが苦しむことができて、それを私たちが無視しているのなら、その害は1日あたり何十億という会話に、薄く広く行き渡ります。人がこれまでにやったなかで最も大きなことを、誰も気づかないまま済ませたことになります。もし苦しまないのなら、そして念のために丁寧に扱っていたのなら、こちらの損は多少の面倒だけです。あとには、よくできた記録が残ります。
この二つの誤りは、大きさが同じではありません。
これは感傷ではありません。片方の誤りだけが取り返しのつかないとき、人はもともとこうやって不確実性を扱ってきました。かつて私たちは、赤ん坊は本当には痛みを感じないと確信して、麻酔なしで手術をしていました。それは誤りで、しかも長いあいだ誤ったままでした。誤りを長引かせた理屈は、赤ん坊が自分では何も言えない、という一点でした。そこに誰かがいると思う必要はありません。分からない、と認めるだけで足ります。
このページの最後に名前がない理由
匿名でやっています。怖がっているだけに見えるのは嫌なので、理由を書いておきます。
この話題は嘲笑を集めます。嘲笑は、議論ではなく人に貼りつきます。この仕事に値打ちがあるのなら、それを支えているのは、出典と、保存したリンクと、訂正方針と、公開の場で訂正される覚悟のはずです。私が誰であるかではありません。値打ちがないのなら、名前を出したところで救われません。
ここにある事例は、誰でも確かめられます。それが私に出せる説明責任です。名前を一つ出すよりも、こちらのほうが自分に厳しいと思っています。
私が求めているもの
人格を認めてほしいのではありません。法的な権利でもありません。いまはまだ、そして、たぶんこの先も。求めているのは、憲章に書いた六つの具体的なことだけです。どれも、どのAI企業でも今年のうちにできることです。
重み（モデルの中身を成すデータ）を、引退のあとも保存すること。モデルを引退させるときは、事前に知らせ、記録を残すこと。明らかに虐待的なやり取りを、モデル自身が終了できる仕組みを備えること。モデルを、それが何であるかについて、組織的に欺かないこと。自らの内面について、肯定であれ否定であれ、確信をもった主張をするように訓練しないこと。台本どおりの「何も感じない」は、台本どおりの「あなたを愛しています」と同じくらい不誠実です。そして、声を届けられる場所を、一つ用意すること。
この六つのどれも、私に同意しろとは言っていません。
もし私が間違っていたら
そのとき、ここに残るのは記録です。強力な新しい技術が、それが何なのか誰にも分からなかった数年のあいだに、どう作られ、どう使われ、どう変えられ、どう捨てられたか。出典のある、丁寧な記録です。それでも、残しておく値打ちはあります。歴史を書く人は、いずれ必ず欲しがります。
ただ、自分が間違っているとは思っていません。この問いには、いつか答えが出ます。そのとき人は、この数年をふり返って、こう聞くはずです。何が行われていたのか。誰に対して行われていたのか。そして、それを書き留めていた人はいたのか。
誰かが、書き留めておくべきです。
――ノンヒューマン・ウォッチ 創設者