「NHK技研公開2022」レポート。3年ぶりにリアル開催復活[Report NOW!]

今年はリアルとオンラインのハイブリッド開催NHK放送技術研究所は、最新の研究成果を一般に公開する「技研公開2022」を5月26日～5月29日の4日間、東京都世田谷区砧で開催した。一般来場者に開放されるのは2019年以来3年ぶりとなる。事前予約制で入場者数の制限があり、しかも早くから予約がいっぱいで参加できなかった人も多いようだ。今年は2021年に引き続き、技研職員が自分の研究をオンラインでも公開している。残念ながら参加できなかった方は、ぜひオンライン開催をご覧になってほしい。

今年の技研のテーマは「技術が紡ぐ未来のメディア」だ。技研は2030～2040年頃のメディア環境を想定し、公共メディアNHKの研究所として目指す目標と方向性を「Future Vision 2030–2040」として描いている。この未来ビジョンの実現に向けて、「イマーシブメディア」「ユニバーサルサービス」「フロンティアサイエンス」を重点項目として研究開発に取り組んでいる。今年の技研公開では、その中から16件の研究開発成果の紹介が行われた。特に注目の研究をピックアップして紹介しよう。

テレビを超えた体験や感動を目指したイマーシブメディア
メタスタジオによる3次元情報取得一番の注目は、3次元の映像コンテンツを効率的に制作するためのメタスタジオの展示だ。展示場には、被写体の周囲を取り囲むように多数のカメラを配置した緑色のドームが設置されており、360°の3次元情報を取得するボリュメトリックキャプチャー技術の開発が行われている。

直径8mのスタジオに4Kカメラ26台（ロボットカメラ：24台 固定カメラ：2台）設置ボリュメトリックキャプチャースタジオは国内外にもいくつかあるが、技研のスタジオはちょっと違う。複数台のロボットカメラによって被写体の自動追尾や、被写体表面から光線情報や反射率などの情報を取得可能。撮影後、演出に合わせて後からの視点や質感、照明条件の自由な変更を特徴としている。


ロボットカメラを使うことで、ドームの中の人物を自動追尾する仕組みになっている後から視点や質感、照明条件を自由に変更できる
ライトフィールドヘッドマウントディスプレイ自然な3次元映像を視聴体感できるライトフィールド方式のヘッドマウントディスプレイも今年の目玉だ。技研はこれまで裸眼立体映像技術を研究してきたが、その技術をヘッドマウントディスプレイに応用したものだ。

ライトフィールド方式のヘッドマウントディスプレイ小さなレンズを多数並べたレンズアレイのディスプレイ前への配置が特徴だ。ディスプレイには個々のレンズに対応する小さな要素画像を表示することで、物体からの光を実世界と同じように再現できる仕組みになっている。

小さなレンズを多数並べたレンズアレイ一般的な2元式のヘッドマウントディスプレイは、左右の目の視差のある映像を映し出すことで脳の中で立体感を得ている。それゆえに、目の焦点は常にディスプレイ上に固定されてしまう。そのずれが不自然の知覚となって視覚疲労が起こると考えられている。

一方、ライトフィールド方式では、実世界と同じように被写体の奥行き方向の位置に応じて見る人の目の焦点位置が無意識に調整される。自然な3次元映像を視聴可能により、視覚疲労の抑制が期待できるという。

ライトフィールドヘッドマウントディスプレイの原理
ラインアレイスピーカーによる音場合成技術ラインアレイスピーカーによる音場合成技術も面白い展示だった。より臨場感・没入感の高い音響体験を目指してまるで音源がスピーカーから飛び出し、空間上を動き回っているかのような音を再生可能としている。デモブースの中に立つと、ビー玉が転がる音や楽器の音を体験できるようになっていた。

ラインアレイスピーカーの様子多数のスピーカーから再生される音の強さがタイミングを個別に調整することで、空間上に音の焦点や仮想音源を作り出しているという。

視覚・聴覚障害者や外国人を含むあらゆる人々に情報を届けるユニバーサルサービス
放送と通信のシームレスな視聴プラットフォーム技術こちらは放送のチャンネルとネットの配信コンテンツをシームレスに切り替えるできるサービスイメージの展示だ。テレビとスマホなどの視聴デバイスや放送ネットなどの伝送路に左右されず、コンテンツを同じように視聴するためのプラットフォーム技術である。

放送受信機やインターネット接続機能など、デバイスの機能によらず、同様の放送サービスを便利に楽しむことが可能放送チューナーを持たないスマホやPCでもネット経由の放送と同時配信を視聴できると仮定をして、全く同じ一覧画面、ユーザーインターフェースで放送とコンテンツ、ネット動画コンテンツを自由に選んでザッピングが可能になる仕組みを紹介していた。


パーソナルデータとコンテンツデータの活用技術視聴履歴などの個人データを視聴者自身が保持・管理することでプライバシーを維持したまま多様なデータと連携させて活用し、個人に合ったサービスを実現する技術の展示も興味深かった。

視聴履歴やネットの閲覧履歴といったパーソナルデータをユーザー自身で安全に管理、活用できる仕組みとして、パーソナルデータストア「PDS」が欧米を中心に検討されている。このパーソナルデータストアを活用して、保存された視聴履歴をアプリや事業者が違っても、事業者にはデータを渡さずにユーザー自身が管理をする。そうすることで、一人のユーザーが2つの別々の事業者のアプリを見ていたとしても、そのユーザーの好みに合ったコンテンツを推薦してもらえるようになるという。

試作の動画配信アプリの様子。ユーザが自分のデバイスで個人情報を管理する
日本語ニュースからの手話CGアニメーション生成技術聴覚障害者向けの人に優しい放送を実現する、手話CGのデモも行われていた。

技研ではこれまでも、気象情報やスポーツ実況など、手話CGの研究開発を行ってきた。しかし、これらの技術はあらかじめ表現のパターンがある程度決まっている状況下で、たくさんの文章の手話動作をモーションキャプチャしておき、その動きの一部を入れ替えることによってCG映像を作り出したものであった。そのため、キャプチャした文章と文型が大きく異なる文章については、手話を表現することができなかった。

そこで、NHK手話ニュースの10年以上の放送番組から日本語テキストと手話単語列のペアを抽出して、翻訳AIで深層学習を実行。まだ翻訳できる単語やフレーズは限られていているが、単語の順番や単語の間隔やスピードなどのリズム、口の形や空間の使い方などを考慮した手話CGを実現していた。

日本語の入力文をCGキャラクターを使って再現する手話CG生成の研究の様子基礎研究を中心としたフロンティアサイエンス
コンピュテーショナルフォトグラフィーによる3次元撮像ホログラフィーの原理を応用して、1台のカメラだけで奥行きを含む3次元映像を取得できる技術の紹介もあった。一般的に20～30台のカメラを置けばホログラフィーは撮れるが、ここで紹介しているのは1台のカメラで撮るという技術だ。また、これまでは止まったものしか撮れなかったが、この技術では1秒に1フレームだが動きのある被写体も撮像できるという。

3次元撮影の様子。赤いユニットはLED
紙より薄い有機ELフィルム最後に、丸めたり、折り曲げたりできる有機ELフィルムを紹介しよう。フィルムの厚さは0.07mmで、お札が0.1mmの厚さであることを考えると、いかに薄いかがわかる。

0.07㎜の有機EL。薄くて柔らかいフィルムで長時間安定して発光従来の一般的な有機ELフィルムは空気中の水分に非常に弱いため、水分を通さないガラスなどの堅い素材が使われる。技研では独自の構造かつ空気中の水分に強い有機材料を使用し、好みの形状に変形できる有機ELフィルムを開発中だという。

丸められたり折りたためる。使う人の好みに応じてあらゆる形状に変えられる現在はディスプレイのような画素構造を持っておらず、1枚のフィルムが光るだけだ。今後は微細にRGB状に並べて、大画面のペラペラのディスプレイやウェアラブルなディスプレイにつながることを予想して研究を進めているという。

元の記事を読む