上司の顔も声もしぐさも"ビデオ通話のニセモノ"だった…信じた社員が26億円送金したAI詐欺のリアル

人間はなぜ、生成AIによる偽動画に騙されるのか。『嘘で満ちていく社会　データで読み解くフェイク時代の構造』（朝日新書）を出した情報経済学者の山口真一さんは「私たちは、映像や声を前にしたとき、頭で考える前に『本当だ』と感じてしまう」という――。
■本物と見分けがつかない“上司”の映像
ある日、あなたのスマホに上司からのビデオ通話が入る。画面の中のその人は笑い、頷き、声の調子もいつも通りだ。だが、その相手は本物ではない――。
2024年、英国の大手エンジニアリング企業の香港支社で、まさにそんな事件が起きた。社員がAIで作られた上司の映像と音声を信じ込み、約26億円を送金してしまったのだ。
顔の筋肉の動きも、まばたきのタイミングも完璧だったという。誰だって信じる。私たちは「見て」「聞けば」信じるようにできているからだ。
狙われるのは企業だけではない。
米国では2024年頃から、ある女性が「米ドラマ俳優」を名乗る相手からSNSで連絡を受けた。最初は冗談半分だったやり取りが、いつしか継続的なやり取りに変わる。彼は優しく、落ち着いた声で将来の話までした。
だが、それはAIで合成された映像と音声だった。信頼が積み上がった頃、相手は新生活を始めるなどと持ちかけて送金を求め、女性は家を売るところまで追い込まれてしまった。
この種の詐欺は、すでに日本にも忍び寄っている。親の声を真似た電話で金を騙し取る、企業名を騙(かた)る音声で個人情報を聞き出す――。AIが合成した声は、わずかな雑音や息づかいを混ぜることで、かえって「本物らしさ」を増す。
■卒アル写真が悪用されるわいせつ画像
ディープフェイク詐欺の特徴は、人の「信じたい」という気持ちを狙うことにある。
完璧な偽物ではなくても、わずかに“それらしく”見えれば十分なのだ。ほんの数秒で心をつかまれ、理性が後回しになる。私たちは、映像や声を前にしたとき、頭で考える前に「本当だ」と感じてしまう。
そこにAIの精巧さが重なれば、信じないほうが難しい。
さらに陰湿なのが、性的な画像への悪用である。2025年には、日本で生成AIを使って作られたわいせつ画像をインターネット上で販売したとして、複数の男女が摘発された。報道によれば、画像は実在の人物ではなく、AIがそれらしく作り出した架空の被写体だったという。実在の被害者がいないようにも見えるが、こうした行為が違法と判断されたこと自体、生成AIの利用がすでに新たな犯罪領域に踏み込んでいることを示している。
しかし、より深刻なのは別の形で広がる被害である。卒業アルバムや学校行事などで撮影された児童・生徒の写真をもとに、顔を合成したり、性的な文脈に加工したりした画像や動画が、SNSやメッセージアプリを通じて拡散される事案が相次いでいる。
被写体となった子どもたちは、ただ記念写真に写っていただけにすぎない。それが、知らないうちに他人の欲望を投影する素材へと変えられてしまうのである。
■ディープフェイク被害の残酷な核心
しかも近年の調査では、こうした被害の多くが「見知らぬ第三者」ではなく、同じ学校に通う生徒や元同級生など、身近な関係者によって引き起こされている実態も浮かび上がってきた。
悪意やいたずら心、あるいは軽い好奇心から作られた画像が、取り返しのつかない形で本人の尊厳を傷つける。
ディープフェイクは、もはや遠いネットの闇の話ではない。教室や友人関係の延長線上で、静かに起きている問題なのである。
この被害の残酷さは、画像が「消えない」ことにある。
拡散された瞬間にコピーされ、サーバーを移り、削除しても誰かの手元に残る。本人が「それは私ではない」と訴えても、見た人の記憶からは消えない。
映像は強い。文字よりも、説明よりも、圧倒的に人の心に残ってしまう。
■「信じていいのか」と立ち止まる勇気
海外でも被害は後を絶たない。ブラジルでは、有名モデルの顔をAIで改変した偽広告がSNSに大量に出回り、詐欺グループが数億円規模の利益を上げて逮捕された。
人の美しさや信頼は、その人自身のものではなくなり、切り取られ、加工され、売られていくものとなっている。
こうした時代に生きる私たちは、もはや「何が本当か」を疑うだけでは足りない。
だからこそ、誰かの姿や声を見ても、「これは信じていいのか」と立ち止まる勇気が求められている。ディープフェイクは、ネットの中の問題ではない。人間の記憶、感情、信頼――その根元に静かに入り込む。
技術の問題だけではなく、私たちがどれだけ人を信じ、どこまで疑うかを問う、極めて人間的な問題なのだ。
■災害時や日常の不安を狙う偽動画
ディープフェイクの問題が厄介なのは、政治や著名人の世界だけで起きる現象ではない点にある。
むしろ、災害や身近な安全の話題と結びついたとき、その影響は一段と大きくなる。私たちは不安が高まる局面ほど情報を求め、そこで「映像」が提示されると、それを証拠として受け止めやすいからだ。
その危うさが可視化された出来事が、2025年12月に青森県八戸市で震度6強を観測した地震の直後に起きた。
SNS上では、津波や建物の崩落を伝えるニュース速報風の動画が次々と投稿され、事実として受け取ってしまう反応も見られた。災害直後は、自治体や報道の情報が出そろう前に、断片的な映像が先に流れ込む。しかも人は、文章より映像のほうを「現実の記録」として信じやすい。
生成AIは、その心理の隙間に入り込みやすい。
同じ構造は、災害だけでなく、日常の危険と隣り合わせの話題でも起きる。たとえば2025年、クマによる被害が各地で相次ぐなかで、「クマが犬をくわえて逃げる」「女子高校生が小グマを抱いている」といった動画がSNSで広がった。
しかし、その多くは生成AIによる偽動画だと指摘されている。現実にクマ被害が起きているタイミングで、もっともらしい映像が出回れば、人々の不安は一層掻き立てられる。
■偽情報がもたらす二方向の歪み
このとき深刻なのは、誤解が一方向ではないことだ。
誇張された偽動画は過剰な恐怖を生む一方で、「かわいい小グマ」の映像は「クマは案外おとなしいのではないか」という根拠のない安心感を生みかねない。過剰な恐怖と誤った安心という、正反対の誤解が同時に広がり得る。
この二方向の歪みは、現実の行動に影響を与える点で危険である。
野生動物との距離感や、災害時の判断のように、誤った理解が具体的なリスクにつながる領域ではなおさらだ。
しかも、偽情報は必ずしも「悪意ある投稿者」だけが広げるわけではない。
宮城県の女川町で、住民から提供されたとされるクマの写真をもとに、公式アカウントが注意喚起を行ったところ、後にそれが生成AIによる偽物だったと判明し、訂正とお詫びが出された事例もあった。
ここで示されるのは、善意の注意喚起であっても、素材の真偽確認が追いつかないと、誤った情報が公的な発信の形で増幅されてしまうという現実である。
生成AIが変えたのは、偽動画が作れるようになったことだけではない。災害や生活安全の局面で、映像が「証拠」として消費される速度を押し上げ、フェイク情報の影響が現実の行動に接続しやすい環境を作り出した点にある。
ディープフェイクは、政治の道具であると同時に、日常の判断を揺さぶる装置でもある。

----------

山口 真一（やまぐち・しんいち）

国際大学グローバル・コミュニケーション・センター教授

1986年生まれ。博士（経済学・慶應義塾大学）。国際大学グローバル・コミュニケーション・センター教授。専門は計量経済学、ネットメディア論、情報経済論等。NHKや日本経済新聞などのメディアにも多数出演・掲載。主な著作に『炎上で世論はつくられる』（ちくま新書）、『スマホを持たせる前に親子で読む本』（時事通信）、『ソーシャルメディア解体全書』（勁草書房）、『正義を振りかざす「極端な人」の正体』（光文社）、『なぜ、それは儲かるのか』（草思社）、『炎上とクチコミの経済学』（朝日新聞出版）、『ソーシャルメディア解体全書』『ネット炎上の研究』（共著、勁草書房）などがある。

----------

（国際大学グローバル・コミュニケーション・センター教授 山口 真一）