声の字幕や手話の映像をARグラスにリアルタイム表示できるアプリがスゴイ
画像（3枚）
「ARグラス型補聴器」が「UPDATE EARTH」のイベントで展示されていました

　3月2日に、日本トーターグリーンドーム前橋にて、日本最大級のイノベーションプロジェクト「UPDATE EARTH」のイベントが開催されました。


　スタートアップを中心としたブースではさまざまな企業や起業家が出店していて、面白そうなものばかり。

最初に気になったのが「タタメルバイク」。次に気になったのが、signersの那珂慎二さんが手がける「ARグラス型補聴器」です。


ARグラスに字幕と手話をリアルタイムで投影

　「音」は補聴器で、「声」はARグラスで『聴こう』――をコンセプトに開発。アプリケーションとARグラス「XREAL」を連動させて、グラスに話している内容をリアルタイムで字幕にして表示したり、手話の映像を投影したりできます。


声の字幕や手話の映像をARグラスにリアルタイム表示できるアプリがスゴイ
ARグラス「XREAL」を使用しています

　実際に試してみました。今回はPCに接続して、PCのマイクで声を拾い、それをリアルタイムで字幕で表示させていたほか、PCのカメラを使って手話を映しているところも、左側に映像として投影させていました。


声の字幕や手話の映像をARグラスにリアルタイム表示できるアプリがスゴイ
パソコンに表示されている映像と字幕が、ARグラスにも投影されています。ラグはほとんどなく、シームレスに字幕が表示されていました

　字幕の表示にもほとんどラグはなく、聴こえてきた声がリアルタイムで字幕になっていくさまには驚かされました。なお、手話の映像が必要ない場合はオフにしたり、字幕を大きくしたりすることもできるそうです。


　現在はPCやスマートフォンでアプリケーションを起動して使用するのですが、那珂さんによると今後は補聴器と連動して、補聴器が取り込んだ声を字幕にするような機能も開発していきたいとのことでした。


　那珂さんは、奥様の耳が不自由ということが理由で、補聴グラスを開発したいと考えるようになったそうです。補聴器はサイレンなどはしっかり聴こえるものの、人の声などは聴こえにくいそうで、それを何とかしたい……というのが開発の発端とのことでした。


　また、現段階ではPCやスマートフォンとの接続が必須ですが、将来的にはグラス側にCPUを搭載させて、スタンドアローンでも動作するようになればいいなとも話してくれました。


将来的には翻訳グラスにも？

　ちなみにこのアプリケーションにはリアルタイムでの文字起こし機能だけでなく、翻訳機能も搭載しているとのこと。もしかしたら将来、同じアプリケーションを利用することで、補聴グラスだけではなく翻訳グラスとしても活躍する日がくるかもしれません。


　補聴グラスのアプリケーションは、まずはiOSでの提供を目指しているとのことです。こちらのアプリケーションとARグラスが普及すれば、多くの人に、より自由に声を届けることができるようになるのではないでしょうか。


■関連サイト


編集部おすすめ