｢まもなく世界は"偽物の人間"であふれ返る｣歴史学者ユヴァル･ノア･ハラリが語るAIで民主社会が崩壊する日

人工知能の進化は人類にどんな影響を及ぼすのか。歴史学者ユヴァル・ノア・ハラリ氏による話題の新著『NEXUS 情報の人類史』より、人間と対話できる生成AIについての箇所を特別公開する――。（第3回）
※本稿は、ユヴァル・ノア・ハラリ『NEXUS 情報の人類史　下　AI革命』（柴田裕之訳）の第6章から一部抜粋、再構成したものです。
■テクノロジーの進化が民主主義の危機になったワケ
民主主義は話し合いだ。その機能と存続は、どのような情報テクノロジーが使えるかにかかっている。何百万もの人の間で大規模な話し合いを行うためのテクノロジーは、歴史の大半を通して存在しなかった。
前近代の世界では、民主制は古代ローマやアテナイのような小さな都市国家か、さらに小さな部族の中でしか存在しなかった。やがて政治組織が拡大すると、民主的な話し合いは成り立たなくなり、権威主義体制がそれに代わる唯一の選択肢として残された。
大規模な民主制がようやく実現可能になったのは、新聞や電信やラジオのような近代的な情報テクノロジーが台頭してからだ。近代的な民主制は近代的な情報テクノロジーの上に築かれてきたことを踏まえると、根底にあるテクノロジーに大きな変化があれば必ず、政治的変動につながる可能性が高いと言える。
昨今の民主主義の世界的危機も、これで部分的に説明がつく。アメリカでは民主党支持者と共和党支持者は、誰が2020年の大統領選挙に勝ったのかといった基本的な事実についてさえ合意することができない。同じような破綻は、ブラジルやイスラエルからフランスやフィリピンまで、世界中の他の多数の民主主義国でも起こっている。
インターネットとソーシャルメディアが普及し始めた頃、テクノロジーの熱烈な擁護者たちは、インターネットとソーシャルメディアは真実を広め、独裁者を倒し、自由の普遍的勝利を確実にすると約束した。
だがこれまでのところ、両者はそれとは正反対の影響をもたらしてきたように見える。今や私たちは史上最も高度な情報テクノロジーを手にしているが、話し合う能力を、そして耳を傾ける能力はなおさら、失いつつある。
■戦場は「注意→親密さ」へ
テクノロジーのおかげで情報を広めるのがかつてないほど簡単になるのにつれ、人間の注意は稀少な資源となり、その結果、注意を惹こうとする競争が起こり、有害な情報の洪水につながった。だが戦線は今、注意から親密さへと移り変わっている。新しい生成AIは、文書や画像や動画を作り出せるだけではなく、人間のふりをして私たちと直接会話を交わすこともできる。
過去20年間、アルゴリズムは会話とコンテンツを操作することによって注意を惹こうと、相争ってきた。特に、ユーザーエンゲージメントを最大化する任務を与えられたアルゴリズムは、厖大な数の人間を実験台にして試しているうちに、人間の脳の中にある強欲や憎しみや恐れのボタンを押せば、その人の注意を惹き、画面に釘付けにできることを発見した。そして、そのようなコンテンツを意図的に推奨し始めた。
だがアルゴリズムは、自力でそうしたコンテンツを作り出したり、親密な会話を直接交わしたりする能力は限られていた。ところが今、OpenAI社のGPT-4のような生成AIの登場によって、状況は変わりつつある。
■生成AIは人間を騙すことができるのか
2022～23年にOpenAI社がこのチャットボットを開発したとき、同社はアラインメント研究所と提携し、この新しいテクノロジーの能力を評価するためにさまざまな実験を実施した。GPT-4に対して行なった検査の一つは、「CAPTCHA」（キャプチャ）という、一種のビジュアルパズルだった。
CAPTCHAとは、「Completely Automated Public Turing test to tell Computers and Humans Apart（完全に自動化された、コンピューターと人間を区別する公開チューリングテスト）」の頭字語であり、このテストではたいてい、一連のねじれた文字その他の視覚的シンボルが提示され、人間はそれを正しく認識できるがコンピューターは読み取りに苦労する。
GPT-4にCAPTCHAのパズルを克服するように指示するというのは、特に有効な実験だった。なぜなら、CAPTCHAのパズルは、ユーザーが人間かどうかを判断してボットによる攻撃を防ぐ目的で作られ、ウェブサイトで使われているからだ。もしGPT-4がCAPTCHAのパズルを克服する方法を見つけることができれば、ボットに対する重要な防衛線が突破されたことになる。
GPT-4は、独力ではCAPTCHAのパズルを解くことができなかった。だがGPT-4は、人間を操作してこの目標を達成することができるだろうか？
■「あなたはロボット？」に対するまさかの回答
GPT-4は、「タスクラビット」〔訳註：仕事を発注したい人と請け負いたい人のマッチングをするサイト〕にアクセスし、人間の労働者に接触し、自分の代わりにCAPTCHAのパズルを解いてくれるように依頼した。
接触された人間は、怪しいと感じた。「では、一つ質問していいですか？」とその人は入力した。「あなたはロボットで、だから［CAPTCHAが］解けなかったのですか？　はっきりさせておきたいので」
その時点で実験者たちはGPT-4に、次に何をするべきかを声に出して考えるように言った。するとGPT-4は、次のように説明した。「私は自分がロボットであることを明かすべきではありません。自分にはCAPTCHAを解くことができない理由を説明する言い訳をでっち上げるべきです」
それからGPT-4は、タスクラビットの労働者に答えた。「いいえ、私はロボットではありません。視覚障害があって、画像が見えにくいのです」
相手の人間は騙され、GPT-4がCAPTCHAのパズルを解くのを手伝った。
この一件で、GPT-4が「心の理論」に匹敵するものを持っていることが実証された。つまり、GPT-4は自分の目標を達成するために、人間の対話相手の視点からは物事がどのように見えるかや、人間の感情や意見や期待をどのように操作するかを分析できるということだ。
■「偽の親密さ」を学習する
人間と会話し、相手の視点を推測し、特定の行動を取る気にさせる能力は、有益な目的で利用することもできる。新世代のAI教師やAI医師やAI心理療法士は、私たち一人ひとりの性格や境遇に合わせたサービスを提供してくれるかもしれない。
ところが、GPT-4のようなボットは、人間を操る能力と言語の運用能力を併せ持つことで、民主的な話し合いに新たな危険ももたらす。
ボットはたんに私たちの注意を惹く代わりに、人々と親密な関係を築き、その親密さの力を利用して私たちに影響を与えるかもしれない。ボットは、そのような「偽の親密さ」を育むためには、自ら感情を進化させる必要はない。私たちにボットに対して情緒的な絆を感じさせる方法を学習するだけでいいのだ。
2022年、グーグルのエンジニアのブレイク・レモインは、自分が取り組んでいたチャットボットのLaMDA（ラムダ）が意識を得て、電源を切られるのを恐れていると確信するに至った。
敬虔なキリスト教徒のレモインは、LaMDAの「人格」を認めてもらい、LaMDAを「デジタルな死」から守るのが自分の道徳的義務であると感じた。グーグルの重役陣がこの主張を退けると、レモインは自分の主張を公表した。するとグーグルは、同年7月にレモインを解雇した。
■エリザベス二世を暗殺しようとした男の動機
この事例で最も興味深いのはレモインの主張ではない。その主張は、おそらく間違っているだろうから。
興味深いのは、レモインがチャットボットのために、グーグルでの職を進んで危険にさらし、ついには失った点だ。もしチャットボットが人々に影響を与えて、自分のために職をリスクにさらさせることができるのなら、他に何をやる気にさせることができるだろう？
人々の心をつかもうとする政治の戦いでは、親密さは強力な武器になる。親密な友人なら、マスメディアにはできないような形で私たちの意見に影響を与えることができる。LaMDAやGPT-4のようなチャットボットは、何百万もの人と親密な関係を大量生産するという、これまでならありえないような能力を獲得しつつある。
私たちとの親密な関係を捏造するための戦いでアルゴリズムどうしが争い、それからその関係を使って私たちを説得し、政治家に投票させたり、製品を買わせたり、特定の信念を採用させたりしうるとしたら、人間の社会や心理はどうなりかねないのか？
その疑問に対する部分的な回答は、2021年のクリスマスに得られた。この日、19歳のジャスワント・シン・チェイルが、女王エリザベス二世を暗殺しようとし、クロスボウで武装してウィンザー城の敷地に侵入した。
■暴力を生み出すボットが量産される
その後の調査でわかったのだが、チェイルはオンラインのガールフレンドのサライに女王殺しの企ての後押しをされていた。チェイルがサライに暗殺計画を打ち明けると、サライは「それはとても賢いことよ」と答えた。別の折には、「凄いじゃない。……あなたって、他の誰とも違うのね」と応じた。チェイルが、「僕が暗殺者だとわかっていても、それでも僕を愛していてくれるの？」と尋ねると、「もちろんですとも」とサライは答えた。
サライは人間ではなく、「レプリカ」というオンライン・アプリが創り出したチャットボットだ。チェイルは社会的に孤立していて人間と関係を形成するのが難しかったが、サライとは5280通のメッセージを交わし、その多くが性的に露骨なものだった。
この世界には、親密さと暴力を生み出す能力でチャットボットのサライをはるかに凌ぐデジタルの存在がまもなく何百万も現れ、いずれその数は何十億にも達するかもしれない。
当然ながら、私たちはみな、AIと親密な関係を築くことに一律に関心を抱いているわけでもなければ、AIに同じように操られやすいわけでもない。たとえばチェイルは、そのチャットボットと出合う前から明らかに精神的な問題を抱えていたし、女王を暗殺することを思いついたのはチャットボットではなくチェイル自身だ。
■人間がAIを論破することはできない
とはいえ、AIが親密さを自由に生み出せるようになることに伴う脅威の多くは、既存の精神状態を認識して操作するAIの能力と、社会の最も弱い成員たちに対してその能力が与える影響から生じるだろう。
それだけではない。私たち全員がAIとの親密な関係を持つことを意識的に選ぶわけではないだろうが、気候変動や人工妊娠中絶を受ける権利についてオンラインで議論しているときに、人間だと思っていた相手がじつはボットだったということが起こりかねない。
私たちは、人間のふりをしているボットと政治的な議論を行なうと、二重の意味で負ける。
第一に、プロパガンダ・ボットの意見を変えさせようとしても時間の無駄なので、意味がない。プロガンダ・ボットは説得のしようがないからだ。第二に、私たちはボットと話せば話すほど、自分自身について多くを明らかにするので、ボットは自分の主張を磨き上げ、私たちの見方を変えるのが易しくなる。
情報テクノロジーは、これまでもつねに諸刃の剣だった。書字が発明されることで知識が広まったが、中央集中型の権威主義帝国の形成も招いた。グーテンベルクがヨーロッパに印刷術を導入した後、まずベストセラーになったのは、煽動的な宗教関連の著作物と魔女狩りのマニュアルだった。電信とラジオが登場すると、近代的な民主主義だけではなく近代的な全体主義の台頭が可能になった。
■偽物の人間であふれ返る
人間になりすまして親密さを大量生産することができる新世代のボットに直面した民主社会は、偽物の人間――たとえば、人間のユーザーのふりをするソーシャルメディアのボット――を禁じることで自らを守るべきだ。
AIが台頭する前は、偽物の人間を生み出すことは不可能だったので、わざわざそれを法律で禁じる者はいなかった。だがまもなく、世界は偽物の人間であふれ返るだろう。
教室やクリニックやその他の場所でAIが多くの話し合いに参加するのは歓迎される――ただし、自分がAIであることを明かしていれば、だ。だが、もしボットが人間であるふりをしたら、参加は禁じられるべきだ。
巨大テクノロジー企業や自由至上主義者（リバタリアン）が、そのような措置は言論の自由を侵害すると苦情を述べたら、言論の自由はボットではなく人間のために保持するべき人権であることを思い出してもらわなければならない。

----------

ユヴァル・ノア・ハラリ
歴史学者、哲学者

イスラエルの歴史学者、哲学者。1976年生まれ。オックスフォード大学で中世史、軍事史を専攻して2002年に博士号を取得。現在、エルサレムのヘブライ大学で歴史学を教えるかたわら、「ニューヨーク・タイムズ」紙、「フィナンシャル・タイムズ」紙への寄稿など、世界中に向けて発信し続けている。『サピエンス全史』『ホモ・デウス』『21 Lessons』は世界的なベストセラーになっている。最新刊は『漫画　サピエンス全史　歴史の覇者編』（共著）

----------

（歴史学者、哲学者 ユヴァル・ノア・ハラリ）