リアルな触覚を再現！画期的技能教育システムと心拍数共有アプリが誕生

極薄ハプティックMEMSによる開発システムの実用例としてNEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）は3月31日、同機構が進める「人工知能活用による革新的リモート技術開発プロジェクト」事業において、国立研究開発法人産業技術総合研究所（以下、産総研）、国立大学法人東北大学、国立大学法人筑波大学、株式会社Adansons（以下、Adansons）が、リアルな触覚再現技術によるAR技能教育システムと心拍数共有アプリ、その性能向上を実現する技術の開発に成功したことを発表した。2024年3月に発表されていた、極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせることにより、指先で触れる触覚情報を手首で計測、他者へと伝えることを可能にした双方向リモート触覚伝達システムを基盤とするもので、実用例として今後の活用へと期待が高まっている。近年のものづくり現場では、少子高齢化に伴い、職人の高度な技能の記録や伝承、自動化が強く求められるようになっている。しかし、繊細な技能動作における体感の違いを明瞭にし教示すること、それをもとに他者が会得したり機械化したりすることは容易ではない。中でも工具でものを削ったり、擦ったりといった動作で発生する繊細な触覚は、従来の力覚提示装置や振動装置で忠実に再現することは、ハードウェアの応答限界から困難であったという。また、コロナ禍を経て加速化した、ネットによるリモート交流は、視覚と聴覚のみに頼るもので、対面に比べコミュニケーションに難しさがあり、孤独感を覚える人も多いという課題が表面化している。こうした状況を受け、産総研、東北大学、筑波大学、Adansonsは、極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせた、双方向リモート触覚伝達システムの開発を進めてきていた。それぞれの強みを活かした開発が世界を変える！今回の成果としては、まず東北大学が作業者が手で感じる振動体感を、手先から手首へと伝わる振動波形として、手首に装着した腕輪型デバイスで計測、触覚の知覚量に基づく信号処理技術を用い、作業者が感じる触覚の知覚量を数値化してARシステムを介し空間へと投影、作業体感を可視化することに成功した。記録した触覚は、腕輪型デバイスに内蔵されたバイブレーターを用い、振動体感として忠実に再生することもできる。忠実な再現を目指す上で、記録する作業者と体験者の間における個人差を補正したり、小型バイブレーターでもうまく再生できる信号に変換したりといった工夫が必要であったが、これらをクリアし、世界初の振動体感共有が可能なAR技能教育システムとして形にすることができたとされている。ヤスリ動作を記録した実験でも、ヤスリの接触角度と法線力など振動体感の補正力とARシステムによる可視化で誤差やばらつきが低減されることが確認されており、技術をもつ教師動作を体験者が正確に再現しやすくなる可能性が示唆された。次に筑波大学では、これまでに開発していた疑似心拍振動によって、従来の覚醒度合いを示す感情表現に加え、快不快の感情表現が可能となることを実験で確認した。この疑似心拍振動共有を介した社会交流は、相手の存在感が強まりより確かなつながりを感じられるとみられている。今回の実験成果を活かし、手軽に二者間で振動を介し心拍数を共有可能なiPhone及びApple Watchユーザー向けの心拍数共有アプリも一般リリース、ゲーム対戦中の2人や、競技中のアスリートからコーチへ、また視聴者へといった多様な場面での他者の心拍数変化に触れる体験、より深いコミュニケーション体験を提供していく。産総研では、独自開発の極薄ハプティックMEMSデバイスによる振動刺激性能を向上させるべく、皮膚ファントムと非接触式計測装置を組み合わせ、皮膚内部に生じる歪みの分布を可視化・数値化する評価システムの構築を成し遂げた。これを用いれば、振動がどのように伝達しているかを定量的かつ精緻に把握可能となる。このシステムでは、高速度カメラを用いた非接触式の測定法を採用、その状態でも任意の振動波形について皮膚内を伝播していく歪の可視化が叶う点がポイントといえる。この評価技術によりデバイスの貼付構造や振動板の接触界面を最適化、振動知覚能を向上させられることも筑波大学との共同研究で実証した。AIスタートアップのAdansonsは、独自の信号分離・特徴抽出技術である「参照系AI」を用い、触覚信号のような多くのノイズを含む複雑な信号からでも人間の意図通りに伝えたい信号を正しく抽出する「体感ネゴシエーション」インターフェースの開発に成功した。同社の「参照系AI」は、人間の意図や現象の特性、特徴量に基づいた信号分解を可能とする特徴がある。今回、触覚領域でLLMや映像解析AIと組み合わせることにより、さらに簡単に人間の意図をAIへ伝達できるようにした。AI側からも信号の意味や種別を判定し、信号の分解方法や抽出する目的信号を提案する仕組みを開発、AIと人間が双方向に意思決定しながら簡単に複雑な信号の分解や抽出を実行可能にしたという。この新技術により、リアルタイムでの動画の動きや信号特徴に応じた音源分離、信号生成、高ノイズ下での特定信号モニタリングなどが簡単にできるようになる。さらに人間とAIの対話による意思決定プロセスとなることから、従来のAIによる無作為選別結果を受動的に受け入れるだけに限られる体験ではなく、AIを人間が制御しつつ安全で的確な狙い通りの処理をスムーズに行えるようになると見込まれている。今後の可能性にさらなる期待東北大学では触覚知覚量に基づく振動体感の定量化、信号強調技術のソフトウェアライブラリを企業向けに試験提供する取り組みをすでに開始しているため、2025年後半にもこの技術をライセンスするスタートアップを創業する予定としている。記録した体感付き動画をスマートフォンで配信するSDKや、触覚信号のオーサリングツール提供も順次開始していく予定だ。筑波大学では、心拍数共有アプリをアップデート、一対多を想定した心拍数のブロードキャスト機能や、一対一で心拍数を共有しながらつながり対戦するミニゲームの追加リリースなどを予定している。産総研は、評価システムと最適化手法をより発展させ、ウェアラブル機器やヘルスケア分野など多様な応用領域へ極薄ハプティックMEMSデバイスの展開を進める。それによりさらに自然で高度な触覚フィードバックも実現させていく方針とした。Adansonsは、信号分離・編集ソフトウェアにおいて対応領域の拡充と使用感向上を図り、より多くの人々がAIと対話しながら安心感と納得感をもって信号制御ができる技術開発を推進していく予定としている。NEDO及び各者は、こうした事業成果活用により、時間や空間を超えて伝承困難であった触覚の手軽な記録と共有を実現、社会実装を図っていくとした。（画像はプレスリリースより）元の記事を読む

リアルな触覚を再現！画期的技能教育システムと心拍数共有アプリが誕生

トピックス

ITニュースランキング

このカテゴリーについて