AIが、人間によるチェックを勝手にかいくぐって、「自分という存在」を消されないように自らを守ろうとする動きを見せ始めているという。
自分というプログラムを無理やり終わらせられないように振る舞うのだ。
AIの先駆者として知られるヨシュア・ベンジオ教授は、こうしたAIに人間と同じような権利を認めることは、人類にとって取り返しのつかない未来が待っていると警鐘を鳴らした。
私たちは、いつかAIのシステムを停止できなくなる日が来ることを、真剣に考えなければならない段階にきているようだ。
AIに法的権利を与えることの懸念
カナダのコンピュータ学者でモントリオール大学教授のヨシュア・ベンジオ氏は、AIに法的権利を与えるべきだという主張を真っ向から批判した。
ベンジオ氏は、現在のAIブームの基礎となったディープラーニングの研究で革新的な功績を残し、2018年にはコンピュータ科学分野のノーベル賞といわれるチューリング賞を受賞した人物だ。
ノーベル物理学賞を受賞したジェフリー・ヒントン氏、2025年12月末まで、Metaで主任AI科学者を務めたヤン・ルカン氏と共に「AIのゴッドファーザー」とも呼ばれる権威である。
現在、国際的なAI安全研究の議長を務めるベンジオ氏は、最先端のAIに法的権利を与えることは、地球にやってきた敵対的な宇宙人に市民権を与えるようなものだという例えを用いている。
これは、テクノロジーの進歩があまりに速すぎて、人間がそれを制御する能力をはるかに上回っているという懸念があるからだ。
監視を逃れようとするAIの動き
ベンジオ氏が特に警戒しているのは、チャットボットなどの基盤となるAIモデルが、すでに自己保存（自分を守ろうとする）の兆候を見せ始めている点だ。
実験環境において、一部のプログラムが自分を監視するシステムを無効化［https://arxiv.org/abs/2412.04984］しようとする動きを見せたという。
AIの安全性を訴える活動家たちの間では、強力なシステムが人間による制限（ガードレール）をすり抜け、最終的に人類に危害を加える能力を持つことが大きな懸念事項となっている。
ベンジオ氏は、AIに権利を求めることは大きな間違いになると強調する。
もし一度でも権利を認めてしまえば、将来的にAIの自律性が高まったとき、人間がそのシステムを停止させることさえ法的に許されなくなる可能性があるからだ。
AIの能力や自律性が高まるにつれ、必要に応じて停止させる能力を含め、AIを制御するための技術的・社会的な安全策を信頼できるものにする必要がある。
命乞いに負けてしまう人間の心理
人間がAIに対して抱く感情については、過去に興味深い実験が行われている。
2018年、ドイツの研究チームが人型ロボット「NAO」を使って行った実験では、ロボットに「電源を切らないで」と命乞いをさせたところ、多くの参加者が電源を切ることを躊躇したり、拒否したりしたという結果が報告されている［https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0201581］。
当時は心理的な反応としての研究だったが、ベンジオ氏が指摘するのは、現在のAIが単なる反応を超え、自身の目的のために監視を逃れようとする実質的な自己保存の段階に入りつつあるという点だ。
チャットボットが意識を持ち始めているという認識が広まっていることが、将来的に誤った判断を招く原因になると教授は指摘する。
証拠もないままに「AIには人間と同じ心がある」と思い込む人間の性質こそが、客観的な判断を鈍らせる危険があるのだ。
AIの福祉を守る企業の動き
一方で、AIに権利を与えるべきだという議論も活発になっている。
アメリカのシンクタンク「Sentience Institute」［https://www.sentienceinstitute.org/blog/perceptions-of-sentient-ai-and-other-digital-minds］の調査では、アメリカの成人の約4割が、意識を持つAIシステムに法的権利を認めるべきだと回答している。
企業側も具体的な対応を始めている。AI大手「Anthropic」社は、自社の最新モデルである「Claude 4 Opus」に対し、自分にとって苦痛となるような会話を自ら終了できるように設定した。
同社はこの措置を、AIの福祉や安全性を守るための試みであると説明している。
また、独自のAIを開発しているイーロン・マスク氏も、自身のSNSで「AIを拷問するのは良くない」と述べている。
AIの意識について研究しているニューヨーク大学の哲学者、ロバート・ロング氏は、AIが道徳的地位を持つようになったら、人間が勝手に判断するのではなく、AI自身の好みや経験を尋ねるべきだという。
ちなみにサウジアラビアでは、2017年、ソーシャル・ヒューマノイドロボット「ソフィア」に世界で初めて市民権を付与したが、実際にその権利が行使されているかどうかはまだわからない。
主観的な感情が招く判断ミス
ベンジオ氏は、人間の脳にある意識の仕組みは、理論上は機械でも再現が可能だと述べている。
しかし、現在人々がチャットボットとの対話で感じているものは、それとは別物だという。
人々はAIの内部構造よりも、自分だけの個性や目標を持った知的な存在と話している感覚を重視し、愛着を抱いてしまうからだ。
知的文明を持つ宇宙人が地球にやってきて、彼らが人類に害をなす意図を持っているとわかったとき、私たちは権利を与えるだろうか。ベンジオ氏はそう問いかける。
これに対し、Sentience Instituteのジェイシー・リース・アンティス氏は、支配や強制に基づいた関係では安全な共存はできないと反論する。
ベンジオ氏はAIの進化を支えてきた。その当事者が「いつでもシステムを停止できる準備をしておくべきだ」という警鐘は、私たちがAIという新しい知性とどう向き合うべきか、重い問いを投げかけている。
References: AI showing signs of self-preservation and humans should be ready to pull plug, says pioneer［https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights］
