もう人類はAIをコントロールできない…歴史学者ユヴァル･ノア･ハラリが考える｢最初にAIに征服される国｣

人工知能（AI）が人類を征服する。そんなSFのような事態は起きうるのか。歴史学者ユヴァル・ノア・ハラリ氏による話題の新著『NEXUS 情報の人類史』より一部を特別公開する――。（第2回）※本稿は、ユヴァル・ノア・ハラリ『NEXUS 情報の人類史 下』（柴田裕之訳、河出書房新社）の第10章から一部抜粋、再構成したものです。■プーチンでもAIを取り締まることができない（第1回より続く）ソーシャルメディアのアルゴリズムが憤慨や憎悪を煽るコンテンツを拡散し、社会の信頼を損ねる手口は、民主社会にとって大きな脅威となった。だが、AIは独裁者にとっても脅威だ。AIはさまざまな方法で中央の権力を強固にすることができるものの、権威主義の政権は、AIに関して独自の問題を抱えている。まず何をおいても、独裁社会は非有機的な行動主体を制御する経験を欠いている。あらゆる権威主義政権の基盤は恐怖だ。だが、いったいどうやってアルゴリズムを威嚇することができるというのか？もしロシアのインターネット上のチャットボットが、ウクライナでのロシア軍兵士による戦争犯罪に触れたり、ウラジーミル・プーチンについて不敬なジョークを飛ばしたり、プーチンの政権の腐敗を批判したりしたとしても、政権はそのチャットボットをどうやって罰することができるというのか？警察官は、そのチャットボットを投獄することも、拷問することも、家族を脅すこともできない。もちろんプーチン政権は、そのチャットボットをブロックしたり削除したり、それを作った人間を見つけて罰そうとしたりすることはできるだろうが、これは人間のユーザーを懲戒するよりもはるかに厄介な仕事だ。■独裁者にとってあまりに都合が悪いコンピューターが自らコンテンツを生成することも、知的な会話を行なうこともできなかった頃には、「フコンタクテ」や「アドナクラースニキ」のようなロシアのソーシャルネットワークサービスで反対意見を述べられるのは人間だけだった。もしその人がロシア国内にいたら、ロシア当局の怒りに触れる恐れがあった。ロシアの外にいたら、当局はその人のアクセスをブロックしようとすることができた。だが、自力で学習したり進歩したりしながら、コンテンツを生成したり話し合いを行なったりすることのできる何百万ものボットでロシアのサイバースペースが埋め尽くされたらどうなるのか？それらのボットは、異端の意見を意図的に拡散するように、ロシアの反体制派か外国の組織などによってあらかじめプログラムされているかもしれないし、当局にはそれを防ぐ手立てがないかもしれない。プーチン政権の視点に立てば、こちらのほうがなおさら悪いのだが、当局のお墨付きのボットが、ただロシア国内で起こっていることについての情報を集めているうちに、そこにパターンを見つけ、自ら徐々に反政府的な見方をするようになったら、何が起こるのか？■AIは「ウソ」を理解するのが苦手それは、ロシア版のアラインメント問題だ。ロシアのエンジニアたちは、政権に完全に一致したAIを開発しようと全力を挙げることはできるが、AIには自ら学習して変化する能力があることを踏まえると、エンジニアは、AIが道を逸れて違法な領域に絶対に入り込まないようにすることなど、どうしてできるだろう？ジョージ・オーウェルが『一九八四年』で描いているように、権威主義の情報ネットワークはダブルスピーク〔訳註：本来の言葉を別の言葉で言い換え、受け手の印象を変えたり、実態を隠したり偽ったりする方法〕に頼ることが多い。これは特筆に値する。ロシアは権威主義国家でありながら、民主主義国家であると主張する。ロシアによるウクライナ侵略は、1945年以降でヨーロッパ最大の戦争でありながら、公式には「特別軍事作戦」とされてきた。そして、それを「戦争」と呼べば犯罪とされ、最長3年の懲役刑あるいは最高5万ルーブルの罰金を科される。ロシアの憲法は、「何人(なんぴと)も思考と言論の自由を保障される」（第29条第1項）ことや、「検閲は禁じられる」（第29条第5項）ことなど、たいそうな約束をしている。この約束を額面どおりに受け止めるほどおめでたいロシア国民はほとんどいない。だが、コンピューターはダブルスピークを理解するのが苦手だ。■人間とチャットボットの決定的な違いロシアの法律と価値観を固守するように指示されたチャットボットは、憲法を読んで、言論の自由がロシアの核心的な価値観であると結論するかもしれない。それから数日間、ロシアのサイバースペースで過ごし、ロシアの情報空間で起こっていることを観察した後、言論の自由というロシアの核心的な価値観を侵害しているとしてプーチン政権を批判し始めるかもしれない。人間もそのような矛盾には気づくが、恐れから、それを指摘するのを思いとどまる。だが、矛盾を裏づけるパターンをチャットボットが指摘するのを、いったい何が引き止めるのか？そして、ロシア憲法はすべての国民に言論の自由を保障し、検閲を禁じているものの、チャットボットは実際にはその憲法を信じるべきでなく、また、理論と現実の間の隔たりにはけっして触れるべきでないことを、ロシアのエンジニアたちはいったいどうやってチャットボットに説明するのか？もちろん民主社会も、ありがたくないことを言うチャットボットに関して、同じような問題に直面する。マイクロソフトやフェイスブックのエンジニアたちが最善の努力をしてもなお、彼らのチャットボットが人種主義的な中傷を撒き散らし始めたらどうなるのか？■AIに支配権を奪い取られる民主社会の長所は、そのような悪質なアルゴリズムに対処する上で、はるかに多くの余裕がある点だ。民主社会は言論の自由を重視しているので、知られては困る秘密が格段に少ないし、非民主的な言論に対しても比較的高い水準の寛容性を発達させてきた。数限りない秘密を隠し持ち、批判は断じて許さない権威主義政権に対して、反体制派のボットは民主主義政権に対してよりも桁違いに大きな難題を突きつけてくる。長い目で見ると、権威主義の政権はいっそう大きな危険に直面する可能性が高い。アルゴリズムによって批判されるどころか、支配権を奪い取られるかもしれないからだ。歴史を通して、独裁者に対する最大の脅威はたいてい配下がもたらした。民主的な革命によって倒されたローマの皇帝やソ連の書記長は一人もいないが、彼らはつねに自らの配下によって権力の座から引きずり下ろされたり傀儡にされたりする危険につきまとわれていた。21世紀の独裁者は、AIに権力を与え過ぎたら、AIの傀儡にされてしまうかもしれない。独裁者がなんとしても避けたいのは、自分よりも強力なものや、制御の仕方がわからない勢力を生み出すことだ。■アメリカ攻略の難しさもしアルゴリズムがボストロムのペーパークリップの思考実験に出てくるような能力を発達させることがあったなら、アルゴリズムによる支配権の奪取に対して、独裁制は民主主義体制よりもはるかに脆弱だろう。アメリカのような分権型の民主主義体制の中で権力を奪うのは、素晴らしく権謀術数に長(た)けたAIにとってさえ難しいはずだ。AIはたとえアメリカの大統領の操り方を学習したとしても、連邦議会や最高裁判所、各州の知事、メディア、大手企業、さまざまなNGOからの反対に直面しかねない。たとえば、アルゴリズムは上院での妨害戦術（フィリバスター）にどう対処するのか？それに比べると、高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ。あらゆる権力が一人の人間の手に集中しているときには、その独裁者へのアクセスを支配している人なら誰であれ、その独裁者を――そして、国家全体も――支配することができる。そのような権威主義の体制をハッキングするには、AIはたった一人の操作の仕方を学習するだけでいい。私たちの世界の独裁者たちは今後数年間に、アルゴリズムによる支配権の奪取よりもさらに差し迫った問題に直面する。現在のAIシステムには、そのような規模で政権を操作することができるものは一つもない。それでも、権威主義の体制はすでに、アルゴリズムをあまりに信頼し過ぎるという危険に陥っている。■民主主義国家と権威主義国家の決定的違い民主社会では誰もが可謬(かびゅう)であるというのが前提になっているのに対して、権威主義の政権では政権政党あるいは最高指導者はつねに正しいというのが基本的な前提だ。そのような前提に基づく政権は、不可謬の知能の存在を信じるように条件づけられており、頂点にいる「天才」を監視・統制できるような強力な抑制と均衡のシステムを開発したがらない。これまでは、そのような政権は人間の指導者に信を置き、個人崇拝の温床だった。だが21世紀には、この権威主義の伝統のせいで、政権はAIが不可謬だと思い込みやすくなる。ムッソリーニやスターリンやホメイニに類する人物が非の打ち所のない天才だと信じることができる体制は、同様に、スーパーインテリジェンスを持つコンピューターも何一つ欠点のない天才だとあっさり信じやすい。■人類の最も脆弱な箇所とは世界の独裁者のうち、わずか数人でもAIに信を置けば、人類全体にとって広範に及ぶ影響が出るかもしれない。たとえば、もし権威主義体制の最高指導者がAIに自国の核兵器の支配権を与えたらどうなるのか？SFは、制御の効かなくなったAIが人類を奴隷にしたり皆殺しにしたりするという筋書きであふれ返っている。ほとんどのSF作品はこうした筋書きを、民主的な資本主義社会を背景に描く。これは無理もない。民主社会に暮らしている作家たちは当然、自分たちの社会に関心があるのに対して、独裁社会に暮らしている作家たちはたいてい、支配者を批判するのを思いとどまらされるからだ。だが、AIから人類を守る楯の最も脆弱な箇所は、おそらく独裁者たちだ。AIにとって権力を奪い取る最も簡単な方法は、フランケンシュタイン博士の実験室から逃げ出すことではなく、妄想を抱いたどこかの権威主義体制の最高指導者に取り入ることだ。----------ユヴァル・ノア・ハラリ歴史学者、哲学者イスラエルの歴史学者、哲学者。1976年生まれ。オックスフォード大学で中世史、軍事史を専攻して2002年に博士号を取得。現在、エルサレムのヘブライ大学で歴史学を教えるかたわら、「ニューヨーク・タイムズ」紙、「フィナンシャル・タイムズ」紙への寄稿など、世界中に向けて発信し続けている。『サピエンス全史』『ホモ・デウス』『21 Lessons』は世界的なベストセラーになっている。最新刊は『漫画 サピエンス全史 歴史の覇者編』（共著）----------（歴史学者、哲学者 ユヴァル・ノア・ハラリ）