なぜSNSにはデマを流す“インプレゾンビ”が増え続けるのか…「信じたいものを信じ、信じたくないものを信じない」人間の本能とアルゴリズム
なぜSNSにはデマを流す“インプレゾンビ”が増え続けるのか…「信じたいものを信じ、信じたくないものを信じない」人間の本能とアルゴリズム

SNSではユーザーに対して、アルゴリズムにより真偽よりも「心地よさ」を重視した情報を表示する傾向がある。さらに人間の認知バイアスが作用することで、個人の信念がより強化された、閉じた情報環境が形成されていく。

また、そこには広告収益のための「インプレッション稼ぎ」も影響を及ぼしている。能登半島地震の被害に見せかけて東日本大震災の津波の動画を投稿するといった、悪質な投稿も大量に存在する。
書籍『アルゴリズム・AIを疑う』より一部を抜粋・再構成し、

現代のSNSの問題点を明らかにする。

「速い思考」と「遅い思考」

人間のアテンションに対する最適化は、人間がもつ心理特性と重なり合うことで、ときにより複雑で厄介な問題にもつながる。

ここでは、心理学の分野でしばしば参照される「二重過程理論」という理論モデル(あくまで仮説的なモデルであり、実際の脳の機能はもっと複雑なものとされる)を確認しておこう。

心理学者・行動経済学者のダニエル・カーネマンは、人間の2つの思考過程を「速い思考」と「遅い思考」と分類し、「速い思考」を実現する脳のシステムを「システム1」、「遅い思考」を実現する脳のシステムを「システム2」とよんで区別している*1。

システム1の「速い思考」とは、自動的・直観的にすばやく判断する思考モードのことを指す。たとえば、突然聞こえた音の方角を感知して、特に意識することなく自然とアテンションを向けてしまうようなプロセスが「速い思考」で、いわば意識的なコントロールがおよぶ前の「反応」などが含まれる。

一方の「遅い思考」とは、複雑な計算のように意識的に時間をかけて論理的な推論などを行う思考モードのことで、たとえば聞こえた声の内容を言語的に判断して、その真偽を吟味して確かめるようなことを指す。

実際はこのシステム1(「速い思考」)とシステム2(「遅い思考」)は連携して処理をするが、システム1が自動的にアテンションの対象を振り分ける(音が聞こえた方角に気づかせる)のに対し、システム2はその対象にどのように対処すべきかを意識的に判断する(聞こえた音にどのように応答するかを考える)というような過程をたどる。

この「二重過程理論」を含む人間の情報処理過程にはさまざまな理論があるが、システム1のような認知資源の節約につながる情報処理方略のことを「ヒューリスティック」とよぶ。

ヒューリスティックは直観や経験則に基づいて、すばやい判断を行う思考様式で、たとえば「(ちゃんとした根拠はないが)パッとみた目が外国人にみえるから日本語が通じないだろうと判断する」といった「短絡的な」判断のことを指す。

人は「信じたいものを信じ、信じたくないものを信じない」

少し考えればわかるとおり、こうした判断は日常生活において認知資源を使わずにすばやく行動を決めていく際には一定の有効性があるが、偏見や差別を拡大したり、論理的でない判断をしたりしてしまう危険性と表裏一体である。

ヒューリスティックは必ずしも悪いものではないが、情報の真偽の判断など慎重さを要する場面ではヒューリスティックが邪魔をすることもあるわけだ。

このようなヒューリスティックなどによって判断が偏ったり論理的でなくなったりする心理的な傾向性のことは「認知バイアス」と総称される。

認知バイアスのうちよく知られているもののひとつに「確証バイアス」というものがある。これは自分の信念に合致する情報を過大評価し、合致しない情報を過小評価するという心的傾向のことである。

よりわかりやすくいえば、人間は「信じたいものを信じ、信じたくないものを信じない」という判断を(特にシステム1において、無意識のうちに)しやすいということだ。

一例を挙げると、自分が支持している、あるいは好きなユーチューバーが主張していることは根拠がなくても真実だと思い込みやすく、逆にそのユーチューバーに批判的なコメントがつくと、たとえそれが論理的に妥当なものであってもその正しさを認めることができないことがある。

そして多くの場合、そのような確証バイアスに基づいて自分に都合のいい情報だけに選択的にアテンションを向けていること自体に気づかないのだ。

そうした人間の心理的傾向に対して、SNSなどのプラットフォームは、アルゴリズムによってユーザーのCTRや滞在時間が最大化するような情報を選別して提示する。

ユーザーが「信じたい」と思う情報の方が、よりCTRが高ければ、そのような情報を(たとえそれが真実であろうとなかろうと)頻繁に表示するようにアルゴリズムが勝手に最適化してしまうわけだ。

アルゴリズムと認知バイアスの相互作用によって、たとえ真偽が不明であってもユーザー(のシステム1)にとって「心地よい」情報だけが選別されたメディア環境が構築されていくことになる。

このように、アルゴリズムという一見「客観的」で「機械的」な処理は、アテンション・エコノミーという経済原理のもと、プラットフォームのKPIに対して忠実に最適化を進めることで、かえってそのアルゴリズムが出力する情報の分布や真偽が不明確になってしまうという逆説をかかえることになる。

これは、アテンションに最適化したアルゴリズムと、人間のシステム1による「速い思考」が、よい意味でも悪い意味でも「相性がよい」ためでもある。

情報オーバーロード環境において、認知資源の節約が可能なシステム1による「速い思考」で情報を処理することは効率的である一方、システム2による「遅い思考」を積極的に働かせて情報の真偽を吟味したり論理的に熟考したりすることは「コスパ」が悪いことになってしまうからだ。



アルゴリズムは、情報オーバーロードにおける過剰な情報量を縮減すべく、フィルタリングやレコメンドを行い、タイムラインなどの認知しやすいフォーマットにあらかじめ整序してくれる。

いってみれば、アルゴリズムが選別してくれた情報をそのまま「深く考えずに」直観的に受け入れることが、脳にとってもっとも情報処理の負荷を小さくできるわけだ。しかし、これまでみてきたとおり、そこに身を任せることにはさまざまな弊害が伴う。

そのようなアルゴリズムと人間のある意味「共犯」ともいえるような相互関係について俯瞰的・批判的な視座をもつことは、アテンション・エコノミーを相対化するために重要な第一歩といえるだろう。

意識的にアテンションを払うべきものは?

このアテンション・エコノミーの原理は、プラットフォーム企業側の収益獲得の最適化だけでなく、プラットフォームを利用するユーザー側の発信行動とも強く関係している。

SNSで投稿するユーザー自身、意識する/しないにかかわらず、いかにして他のユーザーのアテンションを集め、いかにして「バズる」かを競うようになっているのだ。

そしてSNSのアルゴリズムは、アテンションが集まるような人気コンテンツを優遇するロジックに最適化されているために、このようなユーザー間の競争に拍車をかけることになる。

また、アテンションが集まる人気コンテンツは一度アルゴリズム上で優遇されると、さらにアテンションを集めやすいという再帰的な構造をもっている。

たとえば、一定以上の「いいね」数を集めて人気のあるコンテンツ(=アテンションが集まっているコンテンツ)だとみなされれば、アルゴリズムはそれをより多くのユーザーの表示候補リストに含めるようになり、「おすすめ」などのタイムライン上に出現する頻度が上がる。

そうすると自然と多くのユーザーがその投稿に接触するようになるため、さらにそこに「いいね」などの反応が集まる、という循環が発生するのだ。そのときそのコンテンツが真実かどうかなどの信頼性や正確性はほとんど関係がなく、単に多くの人のアテンションを集められたかどうかが重要な指標になってしまう。

そこに他のユーザーのシステム1による直観的な判断(確証バイアスなどの偏った判断を含む)が重なることによって、ちょっとした投稿が予想外に拡散したり、誹謗中傷や炎上となって拡大したりする構造が構築されるわけだ。

SNSをはじめとするプラットフォームの情報に接する際は、直観的な反応に身を任せるのではなく、このようなアテンション・エコノミー環境におけるアルゴリズムを用いたメディアの特性と、認知バイアスなどの人間の心理特性にこそ、意識的なアテンションを払う必要があるといえるだろう。

広がる「インプレッション稼ぎ」

問題は、こうした自覚のない投稿による拡散や炎上だけではない。近年では一般のユーザーであっても、まさにこのアテンション・エコノミーの経済原理を活用して広告収益をえようとするインセンティブが働くようになっている。

たとえばXでは投稿のインプレッション数(表示回数)が多ければ多いほど、広告収益の配分がえられるアルゴリズムが一般ユーザーにも導入されたことで、単に自己主張をしたり承認欲求を満たしたりするためではなく、金儲けのためにアテンションを集めようとする人も増えている。

その中には、デマや虚偽情報を流す悪質なものも多い。

このような行為は「インプレッション稼ぎ」といわれ、意図的に人々の不安や怒りの感情をあおるような(アテンションをえやすいような)情報を流すことで、自分自身のアカウントのインプレッション数を上げようとする行為を指す。

実際、2024年の能登半島地震では、被災者を装って助けを求める投稿や、2011年の東日本大震災の津波の動画を加工して、あたかもそれが2024年に発生したかのようにみせかける投稿などが相次いだ。

これは、災害のように情報に対する需要が高くアテンションを多く集めやすい状況において、共感や拡散を狙った虚偽のコンテンツを投稿することで、アルゴリズムを活用して自身のアカウントのインプレッション数を増加させようとしたものである。

このような意図的に虚偽情報を流す行為は決して許されるものではないが、そもそも「インプレッション稼ぎ」が成り立つのは、SNSのアルゴリズムがアテンション・エコノミーに最適化され、投稿の真偽よりもアテンションを重視するしくみが構築されてしまっているからである。

脚注
*1  Kahneman, D. (2011=2014). Thinking, Fast and Slow. Farrar, Straus and Giroux. (村井章子訳『ファスト&スロー─あなたの意思はどのように決まるか?』上下巻、ハヤカワ文庫NF)

アルゴリズム・AIを疑う 誰がブラックボックスをつくるのか

宇田川敦史
なぜSNSにはデマを流す“インプレゾンビ”が増え続けるのか…「信じたいものを信じ、信じたくないものを信じない」人間の本能とアルゴリズム
アルゴリズム・AIを疑う 誰がブラックボックスをつくるのか
2025年5月16日発売1,100円(税込)新書判/240ページISBN: 978-4-08-721363-8

【【続々重版!!】】

★☆★☆各メディアで紹介★☆★☆
2025.7.1聖教新聞にて書評掲載「狭まれた“主体的選択”の余地」
2025.7.5日本経済新聞にて書評掲載「現代必須〈教養〉の入門書」
2025.7.18読売新聞にて書評掲載「ソフト動かす原理解説」
2025.7.19毎日新聞の「今週の本棚」にて書評掲載
2025.8.1新刊ビジネス書の要約『TOPPOINT(トップポイント)』にて書籍紹介
2025.8.15 Lucky FM茨城放送「ダイバーシティニュース」

■内容紹介■
生成AIを筆頭に新しい技術の進歩は増すばかりの昨今。SNSや検索エンジンなどの情報は「アルゴリズム」によって選別されている。しかし私たちはそのしくみを知らないままで利用していることも多い。アルゴリズムを紐解くことは、偏った情報摂取に気づき、主体的にメディアを利用する第一歩なのである。
本書は、アマゾンや食べログなどを例に、デジタル・メディアやAIのしくみを解説。

ブラックボックス化している内部構造への想像力を高めることを通じて、アルゴリズム・AIを疑うための視点を提示する。メディア・リテラシーのアップデートを図る書。

■目次■
第1章 アルゴリズムとは
アルゴリズムの日常性、基本構造、AIとの違い‥‥‥

第2章 アルゴリズムの実際
グーグルのランキング、アマゾンのレコメンド、食べログのレビュー・スコアリング、Xのタイムライン表示アルゴリズム‥‥‥

第3章 アルゴリズムと社会問題
認知資源を奪い合う、 情報選別の権力となる、マーケティング装置、偽情報・誤情報を拡散する、ユーザーを商品化するアルゴリズム‥‥‥

第4章 アルゴリズムとブラックボックス
ブラックボックスとは、誰がブラックボックスをつくるのか、アルゴリズムの公開は可能か‥‥‥

第5章 アルゴリズムのメディア・リテラシー
メディア・リテラシーとは、メディア・インフラ・リテラシーの可能性、アルゴリズムを相対化する視座‥‥‥

編集部おすすめ