なぜデタラメな陰謀論を信じる人が激増したのか…世界的歴史学者が指摘するGAFA経営者たちの"重大な過失"

歴史学者ユヴァル・ノア・ハラリ氏による新著『NEXUS 情報の人類史』が話題だ。ハラリ氏は人工知能（AI）を「人類がこれまでに生み出したうちで最強のテクノロジー」とし、じゅうぶんな知識にもとづく選択がなければ最悪の結果を迎えうると話す。同書より、AIが引き起こした民主社会の分断についての箇所を特別公開する――。（第1回）
※本稿は、ユヴァル・ノア・ハラリ『NEXUS 情報の人類史 下』（柴田裕之訳、河出書房新社）の第8章、第10章から一部抜粋、再構成したものです。
■ソーシャルメディア企業が大儲けできたワケ
AIは人類がこれまでに生み出したうちで最強のテクノロジーであり、それは、AIが自ら決定を下したり新しい考えを生み出したりすることができる最初のテクノロジーだからだ。
原子爆弾は誰を攻撃するかを決められないし、新しい爆弾や新しい軍事戦略を発明することもできない。それに対してAIは、特定の標的を攻撃することを自ら決められるし、新しい爆弾や戦略、さらには新しいAIさえ発明することができる。
AIについて知っておかなければならない最も重要な点は、それが私たちの手中にある道具ではなく、自律的な行為主体であることだ。
もちろん、AIが追求するべき目標を定めているのは依然として私たちだ。だが、そこには問題がある。AIは私たちが与えた目標を追求するうちに、予期せぬ下位目標や戦略を採用するかもしれず、それが予想外の、潜在的にきわめて有害な結果につながりかねないのだ。
たとえば近年、フェイスブックやユーチューブやツイッター（現X）のようなソーシャルメディア企業は、自社のAIアルゴリズムに、ユーザーエンゲージメントを増大させるという、一見有益で単純な目標を与えた。ユーザーがソーシャルメディアで費やす時間が増えるほど、これらの企業には多くのお金が転がり込んできた。
■AIの考えと人類の思惑が一致しない
ところが各社のアルゴリズムは、「ユーザーエンゲージメントを増大させる」という目標を追求するうちに、なんとも困った発見をしてしまった。厖大な数の人間を実験台にして試しているうちに、憤慨や憎悪を煽るコンテンツがユーザーエンゲージメントを増大させることを学習したのだ。
もし人間の心の中にある怒りや恐れや憎しみのボタンを押せば、その人の注意を惹き、画面に釘付けにすることができる。したがって、アルゴリズムはその種のコンテンツを意図的に拡散し始めた。それが大きな原因となって、今では陰謀論やフェイクニュースや社会の混乱が蔓延し、世界中で民主社会を蝕んでいる。
フェイスブックやユーチューブやツイッターの経営者たちは、このような結果を望んでいたわけではない。ユーザーエンゲージメントを増大させれば利益が増すと考えていただけで、それに伴って社会の混乱も増すことは予期していなかった。
この社会的惨事は、人間社会の重大な利益とAIが採用した戦略が一致（アラインメント）していなかったために起こった。専門用語では、これは「アラインメント問題」という。
私たちがAIに目標を設定するときには、AIの採用する戦略が私たちの最終的な利益と本当に一致するなどと、いったいどうして確信できるだろうか？
■ナポレオンも直面した「アラインメント問題」
言うまでもないが、アラインメント問題は新しくもなければ、AIに特有でもない。この問題は、コンピューターが発明される何千年も前から人類を悩ませてきた。たとえば、近代以降の軍事の考察にとって基本的な問題であり続けており、カール・フォン・クラウゼヴィッツの戦争論にもしっかりと記されている。
クラウゼヴィッツはプロイセンの将軍であり、ナポレオン戦争で戦っている。クラウゼヴィッツは著書『戦争論』（1832～34）で、戦争を理解するための合理的なモデルを確立し、それは今日でも最も有力な軍事理論であり続けている。
彼のいちばん有名な格言は、「戦争とは、他の手段をもって行なう、政治の継続である」だ。これは、戦争は感情的な爆発でも、勇敢な冒険的企てでも、天罰でもないことを意味する。戦争は、軍事的な現象でさえない。むしろ、戦争は政治的なツールだ。
クラウゼヴィッツによれば、軍事行動も、軍事的勝利でさえも、何らかの包括的な政治目標と一致していないかぎり、まったく不合理だという。
歴史は、明確な軍事的勝利が政治的惨事につながった事例であふれている。クラウゼヴィッツにとって、その最も明白な例はナポレオンの経歴だった。
■軍事的勝利→政治的敗北
ナポレオンは一連の勝利のおかげで広大な領土を一時的に支配できたものの、それは政治上の継続的な業績はもたらさなかった。彼は軍事的征服に成功したせいで、逆にヨーロッパ列強のほとんどを彼に対抗する形で団結させてしまい、自ら冠を頭に載せて皇帝の座に就いてから10年後に、彼の帝国は崩壊した。
軍事的勝利が政治的敗北につながったもっと新しい例が、アメリカによる2003年のイラク侵攻だ。アメリカは主要な戦闘のすべてで勝利を収めたが、長期的政治目標は何一つ達成できなかった。
軍事的には勝ったのにもかかわらず、イラクに友好的な政権を樹立することにも、中東に好ましい地政学的秩序を打ち立てることにも失敗した。真の勝者はイランだった。
アメリカの軍事的勝利の結果、イラクはイランの宿敵から、いわば臣下に成り下がり、その結果、中東におけるアメリカの立場は大幅に弱まる一方、イランは地域の覇権国となった。
ナポレオンとジョージ・W・ブッシュは、ともにアラインメント問題の犠牲者だ。彼らの短期的な軍事戦略は、自国の長期的な地政学上の目標と一致していなかった。私たちは、クラウゼヴィッツの『戦争論』全体を、警告と見なすことができる。目標としては、「勝利の最大化」は「ユーザーエンゲージメントの最大化」と同じぐらい先見の明のないことだと、この作品は警告しているのだ。
■2014年に鳴らされていた警鐘
AIの台頭のせいで、アラインメント問題はかつてないほど深刻になっている。哲学者のニック・ボストロムは、2014年の著書『スーパーインテリジェンス』〔訳註：邦訳単行本は2017年刊行〕で思考実験を使ってこの危険を説明している。
ボストロムは読者に、次のように想像することを求める。ペーパークリップ工場がスーパーインテリジェンスを持ったコンピューターを買って、工場長がそのコンピューターに、ペーパークリップの製造を最大化するようにという、一見すると無害で単純な課題を与える。
するとコンピューターは、この目標を追求して地球という惑星全体を征服し、人間を皆殺しにし、さらに遠征隊を派遣して他の惑星を乗っ取り、獲得した厖大な資源を使って全銀河をペーパークリップ工場で埋め尽くす。
この思考実験で肝心なのは、コンピューターは命じられたとおりにしたことだ。スーパーインテリジェンスを持つコンピューターは、より多くの工場を建設してより多くのペーパークリップを製造するには電気や鋼鉄、土地、その他の資源が必要であることと、人間がそれらの資源を平和的には差し出しそうにないことに気づき、与えられた目標をひたすら達成しようとして人間を一掃する。
■シリコンヴァレーの経営者たちの過失
ボストロムが言いたかったのは、コンピューターは特に邪悪であるわけではなく、著しく強力である点が問題だということだ。そして、コンピューターが強力であればあるほど、それに与える目標を、私たちの最終的な利益にぴったり一致する形で定義するよう、注意する必要がある。
もし私たちがアラインメントに欠陥がある目標を小型の電卓に与えたとしても、その結果は取るに足りない。だが、アラインメントに欠陥がある目標を、スーパーインテリジェンスを持つコンピューターに与えたら、ディストピアを生み出しかねない。
ペーパークリップの思考実験は、突飛で現実から掛け離れているように思えるかもしれない。だが、ボストロムが2014年にこの実験を発表したときに、シリコンヴァレーの経営者たちがそれに注意を払っていたなら、自社のアルゴリズムに「ユーザーエンゲージメントを最大化する」ように指示する前に、もっと慎重になっていたかもしれない。
フェイスブックとユーチューブとツイッターのアルゴリズムは、ボストロムの想像上のアルゴリズムとまさに同じように振る舞った。
ボストロムのアルゴリズムは、ペーパークリップの製造を最大化するように命じられたとき、物理的な宇宙全体をペーパークリップに変えようとした。たとえそれが、人類の文明を破壊することを意味していたとしても。
ソーシャルメディアのアルゴリズムは、ユーザーエンゲージメントを最大化するように命じられたとき、社会的な宇宙全体をユーザーエンゲージメントに変えようとした。
たとえそれが、社会的な結びつきを害することや、フィリピンからアメリカまで、さまざまな国で民主社会を損なうことを意味していたとしても。（第2回に続く）

----------

ユヴァル・ノア・ハラリ
歴史学者、哲学者

イスラエルの歴史学者、哲学者。1976年生まれ。オックスフォード大学で中世史、軍事史を専攻して2002年に博士号を取得。現在、エルサレムのヘブライ大学で歴史学を教えるかたわら、「ニューヨーク・タイムズ」紙、「フィナンシャル・タイムズ」紙への寄稿など、世界中に向けて発信し続けている。『サピエンス全史』『ホモ・デウス』『21 Lessons』は世界的なベストセラーになっている。最新刊は『漫画　サピエンス全史　歴史の覇者編』（共著）

----------

（歴史学者、哲学者 ユヴァル・ノア・ハラリ）