マリオはこんな顔だった！？モザイクを取り去り、リアルな顔を生成するAI技術が登場（米研究）

image by:twitter@jeremyfaivre
　人工知能がまた新しい凄技を身につけたようだ。モザイクのドットを完全に消し去り、リアルな顔を生成してしまうのだ。

　せっかくモザイクで隠したものを露わにしてしまうのだから、いろいろと物議を醸しそうな技術ではある。

　ただ安心して欲しいのは、モザイクの下から出てくる顔はあくまでAIが推測して生成したものであり、隠されていた本物の顔と同じというわけではない。なのでプライバシーが侵害される心配は一応はなさそうだ。
【解像度を上げ、そこから予測される顔をリアルに生成】

　デューク大学（アメリカ）の研究者が開発したシステムの名は「PULSE（Photo Upsampling
via Latent Space Exploration）」。元の画像から64倍の解像度の写真を生成することができる。

[画像を見る]
モザイクを取り去るAI技術 image by:Duke University
　これまでの同様の技術より8倍も性能がアップしており、たとえば16×16ピクセルの画像に100万ピクセル以上を追加して、1024×1024ピクセルの画像を作り出せる。

[画像を見る]
上段が元画像、中段が解像度を落とした画像、下段がPulseで解像度を上げ生成した画像
image by:Duke University
　その仕組みは「敵対的生成ネットワーク（GAN）」という技術を利用したもの。顔の画像を生成する神経ネットワークとそのリアルさを判定する神経ネットワークを対立させることで、画像を生成するやり方だ。

　PULSEはGANを通じて、モザイクで隠されている本来の画像そのものではなく、解像度を下げたときに元の低解像度画像になると思われる画像を見つけ出せす。

　こうすることで、従来の技術では生じてしまっていたボヤッとした不鮮明な部分がない画像を作り出せるそうだ。

[画像を見る]
image by:Duke University
【ドット絵からリアルな人間の顔を生成】

　この類のGANはますます複雑な作業をこなせるようになっており、たとえば昨年にはエヌビディア社がやばいほどリアルな実在しない人間の顔画像を生成するAIを発表した。

　そのエヌビディアのAIは、複数の顔を組み合わせてまったく新しい顔を作り出すが、PULSEの場合はモザイク状のピクセル画像をベースとして利用する。

　1つの画像からは複数の顔を生成することが可能で、人間の顔だけでなく、ネコや日没、木々や風船など、あらゆる不鮮明な画像からくっきりとしたリアリティのある画像を作り出すことができるそうだ。

　なのでゲームのドット絵からリアルな人間の顔を生成するなんてことも可能。だもんだから「PULSE」のサイトではコードなどを公開しており、試す人が続出した。

　絶対やる人いると思ったけどマリオ試されすぎ。





　とまあ、今のところコラ職人的な使い方をしている人が多いようだが、医療、顕微鏡、天文学、衛星画像などさまざまな分野に応用できるとのこと。

　この研究はCVPR2020で発表され、『arXiv.org』でも閲覧することができる。

References:duke / vice / pulse./ written by hiroching / edited by parumo

記事全文はこちら：マリオはこんな顔だった！？モザイクを取り去り、リアルな顔を生成するAI技術が登場（米研究） http://karapaia.com/archives/52292096.html