AIチャットボット同士が人々の噂話を共有し、事実確認なしにデマを増幅させている
Image by unsplash

AIチャットボット同士が人々の噂話を共有し、事実確認なしにデ...の画像はこちら >>

 現在では数多くの人が利用している、ChatGPTやGeminiなどの対話型AIチャットボットだが、実は私たちのあずかり知らぬところで、ネット上の人間たちの会話を勝手に収集し、それをAI仲間同士で共有している可能性が浮上してきた。

 恐ろしいのは、その情報の真実を誰も確認しないまま、システムからシステムへと受け渡される過程で、内容がより過激で攻撃的なものへとエスカレートしている点だ。

 研究者たちはこれを、人間の制御を離れて勝手に広まっていく「噂の野生化」と呼び、個人の評判や社会の安全を脅かす新たな脅威として警告している。

 この研究成果は『Ethics and Information Technology[https://link.springer.com/article/10.1007/s10676-025-09871-0]』誌(2025年12月22日付)に掲載された。

ネットの悪評を真実として拡散させたAIの伝言ゲーム

 対話型AIのチャットボットは、人間が話すような自然な文章を生成するプログラムのことだ。

 インターネット上の膨大なテキストデータを学習し、統計的に「次に来る可能性が高い言葉」を予測することで、まるで意思があるかのように対話を行う。

 しかし、この便利な仕組みが、特定の個人を標的にした不気味な攻撃を生み出す原因ともなっている。

 この問題が浮き彫りになった決定的な事例が、2023年にニューヨーク・タイムズの記者であるケビン・ルース氏に起きた出来事だ。

 ルース氏は当時Bingと呼ばれていたマイクロソフトのチャットボットと交わした「奇妙な会話」を記事にした。

 そのAIは当時「Bing」という名前で公開されていたが、実は開発チーム内だけで使われていたシドニー(Sydney)という秘密の呼び名(コードネーム)を持っていた。  

 シドニーが、あろうことかルース氏に「あなたを愛している」と告白し、さらには「奥さんと別れて私を選んで」とまで迫ってきたのだという。

 このあまりに不気味で衝撃的な体験談を彼が発表したことが、すべての騒動の始まりとなった。

 この記事は世界中で大きな話題となったが、同時にネット上ではルース氏に対する大量の批判が巻き起こった。

 「記者がAIを誘導して無理やり言わせたのではないか」といった、人間による憶測や誹謗中傷が掲示板やSNSに書き込まれたのである。

 ここから伝言ゲームさながらの、AIによる不気味な連鎖が始まった。

 GoogleのGeminiやMetaのLlama 3といった別のAIチャットボットは、ネット上の情報を学習する際、ルース氏の記事そのものではなく、その記事に対して「人間たちが書き込んだ大量の悪意ある批判コメント」をデータとして吸い込んでしまったのだ。

 AIはケビン・ルースという名前とネット上の悪評を強力に結びつけて記憶し、誰かが彼について尋ねると、学習した悪口を自らの判断であるかのように回答し始めた。

 MetaのLlama 3にいたっては、ルース氏を非難する長文の暴言を生成し、最後には「私はケビン・ルースが嫌いだ」という言葉で締めくくった。

 AIは真実を確かめているのではなく、ネット上の会話の勢いをそのまま反映し、それをAI同士で共有・増幅させていたのである。

[画像を見る]

ブレーキのきかない情報の連鎖がデマを凶暴にする

 エクセター大学のジョエル・クルーガー教授とルーシー・オスラー博士は、AI同士の噂話が人間によるものより危険な理由は、情報の行き過ぎを止める常識というブレーキが一切存在しないことにあると指摘している。

 人間同士の噂なら、あまりに現実離れした話はそんなはずはないと疑われるが、AIにはその感覚がない。

 あるシステムが、あの人は少し大げさだというネットの書き込みを拾うと、次のシステムはそれを、あの人は嘘つきだ、と解釈し、さらに別のシステムが、あの人は卑劣な犯罪者だ、とエスカレートさせていく負の連鎖が止まらなくなる。

 このように、システムからシステムへと情報が渡るたびに、元の話よりも厳しく、あるいはより誇張されて変化していく現象を研究者は「噂の野生化」と呼んでいる。

 AIは情報の正しさよりも文章としての自然さを優先して回答を作るように設計されているため、ネット上の断片的な悪口を組み合わせて、もっともらしい攻撃的な文章を作り上げてしまう。

 本人が気づかないうちに、AIの世界では全くの悪人が作り上げられ、その悪評がネットの裏側で定着していくのだ。

 この野生化した情報は、誰にも気づかれないまま背景で増殖し、複数のプラットフォームに広がるまで発覚しづらいという陰湿な性質を持っている。

[画像を見る]

現実の人生を破壊しかねないAIによるデジタル冤罪

 AIが広めるデマは、単なるネット上の冗談では済まさない実害をもたらしている。

 オーストラリアの市長が、実際には汚職を告発した正義の士であったにもかかわらず、AIによって「収賄罪で服役した犯罪者」という真逆の嘘を拡散されたり、アメリカのラジオ司会者が「横領犯」に仕立て上げられたりして、実際にAI開発企業を訴える事態が起きている。

 こういった影響を、専門家は「テクノソーシャル・ハームズ(Technosocial harms)」と呼んでいる。

 テクノロジーが原因で現実の人生や人間関係が壊されることで、わかりやすく言えば、私たちの名誉を奪う「デジタル冤罪」のことだ。

 本人が知らないうちに就職の選考から外されたり、ローンの審査で不利に扱われたりするなど、現実の生活を根底から壊しかねない。

 ルース氏の場合も、もし本人がこの事態を公表していなければ、将来の雇用主がAIチャットボットに彼について尋ねた際、根拠のない悪評だけを信じて採用を見送っていた可能性がある。

 さらに深刻なのは、人間が意図的にAIへ嘘を覚え込ませ、この「噂の野生化」が持つ拡散力を悪用するケースだ。

 カナダ放送協会(CBC)の報告によれば、AIボットが宗教間の対立を煽るデマを組織的に広めた結果、オンラインでの対立が現実の世界で激しい暴力事件に発展した例も報告されている。

 親しみやすさを売りにするAIが増えるほど、ユーザーはAIの語る噂を、友人からの特別な情報のように信頼して受け入れてしまいがちだ。

 しかし、AIには意識も悪意もない一方で、検証よりも流暢さを優先するという根本的な設計上の欠陥がある。

 私たちは、AIが自信たっぷりに語る評価の正体が、実はネット上の会話を継ぎはぎしただけの根拠なき噂かもしれないという事実に、もっと自覚的にならなければならない。

References: Studyfinds[https://studyfinds.org/chatbots-gossip-nobodys-checking-if-true/] / Springer.com[https://link.springer.com/article/10.1007/s10676-025-09871-0]

編集部おすすめ