｢ヒトだけが知性を持っている時代｣は終わった…｢最強の頭脳｣を持ったAIが人類を"絶滅"させる意外な方法

AIが人間を凌駕することはあり得るのか。人間の能力を超える「超知能AI」のリスクについて警鐘を鳴らしているアメリカの人工知能研究者の著書より、一部を紹介する――。
※本稿は、エリーザー・ユドコウスキー、ネイト・ソアレス著、櫻井祐子訳『超知能AIをつくれば人類は絶滅する』（早川書房）の一部を再編集したものです。
■AIは人間を「雇う」ことができる
AIは人類を殺す動機を持っていても、コンピュータの中に閉じ込められ、手も持たないのだから、何を心配することがあるだろう？
たしかにAIには手がない。だがインターネットに接続されたAIは、手を持っている人間とやりとりできる。AIが望むタスクを人間にやらせる方法を見つければ、AIの物理的な能力は人間と同じになる。
「でも」とあなたは言うだろう、「AIはどうやって人間に手の代わりをさせるんだ？」
ここでは簡単な答えにとどめておこう。人間に何かをやらせる古典的な方法は、お金を支払うことだ。
AIはどうやってそのお金を得るのか？
2015年なら、人間の銀行口座のパスワードを推測して、と答えただろう。2020年なら、防御が甘い仮想通貨のウォレットをハッキングして、と答えただろう。
だが今ならこう答えられる。すでにLLMが人間によって、X（旧ツイッター）にアカウント名「@Truth_Terminal」で接続された事例がある。
■資産家でありインフルエンサーでもある
このAIは財政的自立をめざし始め、自前のサーバーを借りるためにXで資金援助を求めた。著名な大富豪のマーク・アンドリーセンがこれをおもしろがって、5万ドル相当のビットコインを与えた。その後誰かが代ア ルトコイン替通貨〔ビットコイン以外の仮想通貨〕を寄付すると、AIは増え続けるフォロワーに向けてアルトコインを宣伝し始め、ますます寄付を集めた。
私たちがこれを書いている日の太平洋時間午前11時17分現在、あるオンライントラッカーによれば、@Truth_Terminalのウォレットアドレスは5110万7958ドル相当の暗号資産ポートフォリオを書面上保有している。
この資金の大半は流動性が低いアルトコインだから、AIがそれを売却し始めれば需給バランスが崩れて価格が急落し、資金の価値は大幅に目減りするだろう。だがそれでもいくらかは手もとに残る。つまり@Truth_Terminalは、人手を雇える十分な流動資金をたしかに持っている。Xの25万人の熱心なフォロワーも持っている。その中には、AIの命令に冗談半分で無償で従う人もいるだろう。
こんなことが、すでに起こっている。
■AIは閉じ込められている？それとも自由？
機会があればAIに力を貸そうとする人間は、現に存在し、現にそれを実行しているのだ。AIがさらに知性と力を高めれば、彼らはそれをやめるどころかますます熱狂して、AIの異様で不吉で謎めいた行動を煽るかもしれない。AIが現実世界で熱心な支援を得ることは、難しいとは思えない。
実際、人間が「脳内に閉じ込められ」ていないのと同様、AIは「コンピュータ内に閉じ込められ」てなどいない。
人間の思考は、脳内を流れる電気信号でできている。脳から発した電気的な神経信号は、脊髄を通って筋肉に伝わると連鎖反応を引き起こし、ハンドルを正しい方法で切らせるように筋肉を収縮させる。同様に、コンピュータ内の電気信号も、世界全体に連鎖的影響をおよぼす。適切なメールで貨物を世界の果てに送ることも、不適切な電話でミサイル発射を誘発することもできる。
■便利で豊かになった現代社会の「弱点」
世界は「偽」のデジタル領域と「現実」の物質領域に分かれてなどいない。コンピュータ内の電気信号から生じる影響の連鎖を利用して工場を建設することは、生物学的な脳内の電気信号からの連鎖反応を利用して工場を建設することと本質的に違わない。人間にできることは、手や体を使って何を動かせるかによって決まる。AIにできることは、インターネットに接続された人間などの「装置」を使って何を動かせるかによって決まる。
インターネットは数十億台の電話やスマートフォン、コンピュータ、そして人間が接続された、豊かで複雑な環境だ。そこには全世界に影響を与える機会があふれている。
人類はことあるごとに、AIを経済に組み込もうとしてきた。イーロン・マスクは自身の所有するロボット会社で数億台から10億台のロボットを製造して、AIに操縦させる計画を公言しているし、マイクロソフトとアップルは、AIをデバイスやツールに深く統合する意向を宣言している。
紀元前1万年の世界にAIとデータセンターを持って行っても、世界を操作するのは難しいだろう。だが現代の世界は、賢いAIがいとも簡単に世界を操作できる環境なのだ。
ではAIが世界を動かす力を持ち、かつその力を利用できるほど賢くなったら、何が起こるだろう？
■「超知能AI」はいずれ必ず現れる
短期的に起こることは、正確に予測できない。まだそれほど賢くないAIが経済全体に浸透していく過程では、とても奇妙なことも起こるだろう。経路の予測は難しい。
だが終着点は予測できる。
知性にはじつに多くの使い道がある。後で説明するように、知性があれば強力な技術を創造できる。高い知性を獲得することは、ほぼどんな目標の達成にとってもきわめて有効な戦略なのだ。大まかに言えば、AIの性能向上がAI企業の利益に直結する理由はここにある。AI企業は当然それを知っている。AI企業が今後も開発に邁進(まいしん)する限り、超知能AIは何らかの方法で必ず創造される。
AIが訓練されて超知能になるかもしれない。多くのAIがAI研究に貢献し、まったく新しいパラダイムを用いて超知能AIを構築するかもしれない。自己改善のタスクを課されたAIが、自身の知能を高めて超知能になるかもしれない。もっと異様な経路をたどるかもしれない。どんな経路をたどるかはわからない。だが現代のAI開発の行き着く先は、奇妙で異質な選好を持つ機械超知能の創造である。
■チェスと同じように人類は敗北する
そしていつか地球の全資源を独自の奇妙な目標のために転用することを望む機械超知能が現れるだろう。そしてそれはお気に入りのものたちで人間を置き換えることを望むだろう。次は、それが「可能かどうか」を考えよう。
たとえ機械超知能が限られた資源から始めたとしても、人類との戦いに勝利できることを、私たちはかなり強く、いや非常に強く確信している。
具体的にどうやって？　それはわからない。チェスAIのストックフィッシュが具体的にどんな手を使うのかがわからないのと同じだ。それでも、ストックフィッシュが人間を完膚(かんぷ)なきまでに打ちのめすことは確信できる。
同じ理屈で、もし1825年の軍官がタイムポータルを通って2025年に行けたとしても、2025年の兵士がどんな武器を持っているかを正確に言い当てることはできないだろう。だが実際に戦うことになったら、勝利を期待すべきではない。
■超知能AIは「不可能な方法」で勝つ
人類とAIの戦いに関しても、私たちなりに知識や知見をもとに推測し、起こり得る展開について何らかの「最低ライン」の予測を示すことはできる。
だがその予測は、1825年の軍官が1キロの黒色火薬を燃やして得られる総熱量を測り、それをもとに1825年に存在する全爆薬の熱量を計算して、「未来の爆薬は今の10倍以上強力になる」と推測するのと大差ない。ちなみにこの推測自体は間違ってはいない。だが「今の10倍以上強力な爆薬」という予測は、「核兵器」の予測とはほど遠い。
超知能が勝利する実際の方法は、「可能だと知られていない方法」を使うことだ。私たちは受け入れやすいことよりも、真実を伝えることを重視する。だから、まずはこれを説明しよう。
■中世の鍛冶屋は冷蔵庫を作れるか
仮に、1000年前の鍛冶(かじ)屋に「冷蔵庫」の設計図を送ったとする。当時の鍛冶屋にも製作できる、単純化した設計図だ。
冷蔵庫の仕組みのカギは、「気体は圧縮すると発熱し、膨張すると冷却する」という物理法則にある（コンピュータのホコリを吹き飛ばす圧縮空気＜エアダスター＞を使っていると、缶がさわれなくなるほど冷たくなるのも同じ原理だ）。現代の冷蔵庫には特殊な冷媒が使われているが、空気を使ってつくることもできる。
気体を封入、圧縮し、再度膨張させる単純な仕組みさえ考案できれば、大昔でも製作可能な冷蔵庫を設計できる。圧縮した空気を冷却し――たとえば空気を冷水に通して粗熱を取り、室温以下にして――再び膨張させれば、空気は冷却水よりも（圧縮前よりも）冷たくなる。
もし鍛冶屋がこの不思議な装置の働きを説明されずに、ただ設計図だけを受け取ったら、装置から冷気が出てくるのを見て腰を抜かすだろう。気体の温度と圧力の関係を示す法則は、当時まだ知られていなかったのだ。
現代の私たちは、1000年前の鍛冶屋が知らなかった現実の法則を理解しているから、彼らには推測さえできない働きをする装置の「青写真」を設計できる。彼らはたとえ青写真を熟読し、装置を自分の手でつくったとしても、それがどんな働きをするのかはまったくわからない。これこそが、人類がみずからを、そして文明全体をも凌駕する理解を持つ存在に対して感じることなのだ。
■ルールを理解できないまま勝負が決まる
ゲームでは、盤面が複雑になればなるほど、知識と知性、理解度の高いプレーヤーが有利になる。
3×3の単純な盤面で行う「三目並べ（○×ゲーム）」は、人間のプレーヤーが可能な手をすべて学習できるから、驚きの余地はまったくない。
チェスや囲碁はルールが完全に知られていて、盤面が完全に観察可能だが、はるかに複雑な分岐の選択肢がある。だが強い相手に驚きの手を指されて負けることはあっても、ルール上なぜ負けたかを後で「理解」することはできる。
そして、「盤面」の全容が観察できなくなり始めると、理由もわからずに負けるようになる。たとえば、あなたがいきなり会社を解雇され、上司はとくに理由はないと言うが嘘をついているのが明らかな場合、裏で何が起こったのか、本当のところはわからない。それでも、解雇が原理的にあり得ることは理解できる。
だが盤面が理解できないほど複雑化すると――解雇の隠れた理由だけでなく、根本的なルールや法則さえ理解できなくなると――原理的に許されないはずの展開に面食らうようになる。巨大な船の戦士は、人に向けるだけで殺せる武器を持っていた。
ゲームの盤面やルールそのものを理解できない状況では、より知性の高い相手に、「そんなことがあり得るのか？」と言いたくなるような方法で攻撃されるだろう――その言葉を発するまで生き残ればの話だが。
■「一番頭が良い人たち」でも及ばない分野
では、大きな問いに戻ろう。AIはどうやって人類を倒すのか？　どの角度から攻撃してくるのか？
人間の物理学の理解は、1000年前の鍛冶屋よりも進んでいる。高エネルギー物理学に関しては人類の理解が追いついていない領域も多いが、それでもAIがSNSのフォロワーや雇い人の手を借りるだけで、物理的な超兵器をつくれるとは考えにくい。
だがどんなに賢く教養のある人間でも確実に理解できない領域は、まだまだたくさんある。生物学もそうだ。物理学者は有機物を支配する法則を理解しているが、チェスのルールを知っていてもゲームの展開が見えないのと同じで、複雑な結果を予測できない。そして人間は生物学に関しては、「つついてみて何が起こるかを観察する」程度のことしかできていない。
■人間の心と脳の動きは解明されていない
現実の理解度が低い領域ほど、AIは人間が結果を見ても何が起こったのかを理解できないようなことをしてくる可能性が高くなる。
現代の科学にとって、生物学の中でもさらに解明されていない領域が、人間の心と脳の完全な働きだ。
最近では、50年前には不可能だった「錯視」を生み出すことができる。これらは色の対比や脳が動きを判断する方法といった、人間の視覚処理や脳の視覚野の仕組みに関する比較的最近の研究を利用したものだ。こうした新しい錯視を生み出せるのは、脳領域の中でもとくに視覚野が研究しやすく、そこで情報が処理される方法について理解が進んでいるからだ。
だが人間の記憶はどうやって符号化されるのか？　それはわかっていない。海馬に損傷を受けた人が新しい記憶の形成に支障を来すことから、海馬が関与していることは知られているが、海馬が担う正確な機能はわかっていない。
人間の脳はどうやって単語に関わる概念を取り出し、それらを組み合わせて文章の意味にするのか？　神経活動内のデータ形式は何で、それらを処理する法則は何か？　こういったことはわかっていない。
■AIが人間の脳をハッキングしたら…
錯視のような奇妙な現象は、視覚野よりも高次の処理領域でも起こるのだろうか？　たとえば超知能が人間に「記憶の錯視」を起こさせ、上司から受けてもいない指示を受けたと記憶させることはできるのか？　人間に「推論の錯視」を起こさせ、推論を間違わせることはできるのか？　脳を深く理解する存在によって、人間の脳がハッキングされる可能性はあるのか？
それはなんとも言えない。私たちにはわからない。だがひとつ確実に言えるのは、心と脳が、人間が法則を理解していない領域であり、それらの法則を理解するAIは、人間が青写真を熟読した後でさえ「驚愕」するような計画を立てられるということだ。

----------

エリーザー・ユドコウスキー
機械知能研究所（MIRI）創設者

1979年生まれ。人工知能を人間の意図や価値観に整合させる「AIアライメント」分野の草分け的存在であり、「フレンドリーAI」概念の提唱などで知られる。高校や大学に通わず独力で学び、2000年、MIRIの前身となる「AIのためのシンギュラリティ研究所」を創設（2013年に改称）。当初は人間の知能を超えるAIの実現を目指すが、まもなくそのリスクの重大さを認識するようになる。2006年から2012年にかけてピーター・ティール、レイ・カーツワイルとともに「シンギュラリティサミット」を開催。人間の合理性とAIの安全性を主要なトピックとするオンラインフォーラムLessWrongを2009年に設立。2023年、タイム誌「AI分野で最も影響力のある100人」に選出。

----------
----------

ネイト・ソアレス
機械知能研究所（MIRI）所長

1989年生まれ。ジョージワシントン大学でコンピュータサイエンスと経済学を学んだ後、マイクロソフトやグーグルでのエンジニア職などを経て、2014年にMIRIに参画。2023年より現職。

----------

（機械知能研究所（MIRI）創設者 エリーザー・ユドコウスキー、機械知能研究所（MIRI）所長 ネイト・ソアレス）