発表のポイント:

拡張現実(AR)における仮想対象の変形の仕方を操作することで、柔らかさや粘り気といった質感を非接触で提示できる錯覚手法を考案しました。
コントローラや触覚デバイスなどの専用装置を用いず、パソコンやスマートフォンのカメラで取得した手の動きとディスプレイ表示を組み合わせて質感の錯覚を提示します。

本手法により、パソコンやスマートフォンを用いて、遠隔地にモノの質感を伝える新たなコミュニケーション手段の実現に貢献します。


 NTT株式会社(本社:東京都千代田区、代表取締役社長:島田明、以下「NTT」)は、拡張現実環境において、手の動きに応じて変形する仮想対象を用い、柔らかさや粘り気といった質感を非接触で伝える錯覚手法を考案しました。
 本研究では、対象を押し込む際の空間変形範囲が柔らかさの感じ方に影響し、指の動きに伴う対象の伸びの長さが粘り気の感じ方を規定することを示しました。従来はマウスやコントローラなどの装置が必要でしたが、本手法では、カメラで取得した手の動きとディスプレイ表示を組み合わせ、変形パラメータ(空間変形範囲や伸びの長さ)を制御することで、仮想対象の操作と質感提示を実現します。これにより、専用装置を用いずに遠隔地へ質感を伝達することが可能となり、EC※1や遠隔コミュニケーションへの応用が期待されます。
 本成果の一部はIEEE Transactions on Visualization and Computer Graphics[1]に掲載されており、2026年5月20日より開催される「コミュニケーション科学基礎研究所オープンハウス2026」(*)にてデモ展示を予定しています。

(*) コミュニケーション科学基礎研究所オープンハウス2026
 https://www.kecl.ntt.co.jp/openhouse/2026/


[画像1]https://digitalpr.jp/simg/2341/134529/700_432_202605111632586a01862a6f6e2.png

図1. 本研究における発見の概要と波及効果。
(a)発見の概要: 1. 柔らかさの錯覚手法では、ユーザは画面上に表示された自身の指で仮想対象を挟み込む。挟み込み時の押込量や空間変形範囲を調整しながら変形を提示することで、柔らかさの質感を制御できる。2. 粘り気の錯覚手法では、ユーザは画面上に表示された自身の親指と人差し指を離す。指の間に表示された仮想対象を伸長させ、一定の地点でちぎれるように提示することで、粘り気の質感を制御できる。
(b)波及効果の説明図: 本錯覚手法に基づき、質感共有や体験の高度化をめざす。
将来的には、ECサイトにおける商品質感提示、遠隔コミュニケーション、教育・エンターテインメント分野への応用が期待される。

1.背景
 近年、仮想現実(VR)や拡張現実(AR)技術の発展により、遠隔地における体験共有やオンライン上での製品提示が広がっています。しかし、柔らかさや粘り気といった触覚的な質感は、従来、触覚デバイスなどの専用装置を用いなければ十分に提示することが困難でした。そのため、オンライン購買などの場面では、製品の質感を直感的に把握できず、購買判断が難しいという課題があります。
 一方、人は視覚情報のみからでも物体の柔らかさや重さなどの質感を認識できることが知られており、視覚を用いた非接触な質感提示の可能性が注目されています。これまでにも、押し込み量などの視覚的手がかりが柔らかさの感じ方に影響することが示されてきましたが、どのような視覚情報が質感知覚を体系的に規定しているのかは十分に解明されていませんでした。  
 そこで本研究では、仮想対象の変形に着目し、柔らかさや粘り気といった質感を非接触に伝えるための視覚パラメータを明らかにすることを目的としました。

2.技術のポイント
①柔らかさ:空間変形範囲の制御により表現
 本研究では、仮想対象を押し込む際の空間変形範囲(変形の広がり方)を制御することで、柔らかさの感じ方を操作します(図1(a)、柔らかさの錯覚手法参照)。空間変形範囲に応じて柔らかさの感じ方が変化し、特定の範囲で最も柔らかく感じることを実験により明らかにしました。この空間変形範囲を仮想空間における対象変形のパラメータとして適用することで、視覚情報のみで柔らかさを非接触に提示することが可能となります。

②粘り気:対象の伸び(ちぎれ距離)の制御により表現
 指の動きに伴って変形する仮想対象の伸びの長さ(ちぎれ距離)を制御することで、粘り気の感じ方を操作します(図1(a)、粘り気の錯覚手法参照)。対象が長く伸びるほど粘り気を強く感じることを実験により明らかにしました。
これにより、従来困難であった粘り気の視覚的提示を非接触で実現します。

③手の動きに応じた質感のリアルタイム制御
 カメラで取得した手の動きに基づき、これらの変形パラメータをリアルタイムに制御し、その結果をディスプレイ上に提示する技術を考案しました。これにより、専用の触覚デバイスを用いることなく、仮想対象の操作と質感提示を同時に実現します。


3.実験の概要
①柔らかさの評価実験~押込量と空間変形範囲が柔らかさの感じ方へ与える影響を検証~
 本実験では、仮想対象が針状の物体によって押し込まれる映像を用い、柔らかさ知覚に影響する視覚要因を調べました。具体的には、押し込む深さに相当する押込量と、変形が周囲にどの程度広がるかを示す空間変形範囲を系統的に操作した映像を提示しました(図2(a))。参加者(N = 130)は各映像を観察し、対象の柔らかさを7段階で評価しました。
 その結果、柔らかさの知覚は押込量だけでなく空間変形範囲にも強く依存し、両者の相互作用によって決まることが示されました(図2(b))。すなわち、同じ押込量であっても、変形の広がり方に応じて柔らかさの感じ方が変化し、特定の範囲(16-32ピクセル付近)で最も柔らかく感じることが明らかになりました。これにより、変形の“広がり方”そのものが柔らかさの感じ方の重要な手がかりであることが示唆されます。
 さらに、これらの結果に基づき、空間変形範囲と押込量を組み合わせて制御することで、拡張現実環境における仮想対象の柔らかさの感じ方を操作可能であることを確認しました(図2(c))。


[画像2]https://digitalpr.jp/simg/2341/134529/700_433_202605111633016a01862d64e21.png

図2.(a)柔らかさ知覚を調べる実験刺激の例と、操作した視覚パラメータ(押込量および変形範囲)の説明。(b)柔らかさ評定の実験結果。
(c)実験結果を拡張現実環境に適用した例。ユーザは、画面に表示された自身の親指と人差し指で円形の仮想物体を挟み込む。変形前の円形状に対する押込量および変形範囲を操作しながら変形を提示することで、対象の柔らかさを錯覚させることができる。

②粘り気の評価実験~対象の伸び(ちぎれ距離)が粘り気知覚に与える影響を検証~
 本実験では、拡張現実環境において、指の動きに応じて変形する仮想対象を提示し、粘り気知覚に影響する視覚要因を調べました。具体的には、指を離した際に対象がどの程度まで伸びてから切れるかを示すちぎれ距離を段階的に操作しました(図3)。参加者は仮想対象を実際に操作し、感じた粘り気を7段階で評価しました(実験室実験:N = 31、オンライン実験:N = 57)。

 その結果、ちぎれ距離が長いほど粘り気を強く感じることが一貫して示されました(図3)。この傾向は実験室環境とスマートフォンを用いたオンライン環境の双方で確認され、デバイスの違いによらず成立することが示されました。これにより、対象の“伸び続ける長さ”が粘り気の感じ方の主要な視覚手がかりであることが明らかになりました。


[画像3]https://digitalpr.jp/simg/2341/134529/700_720_202605111633036a01862f471a9.png

図3. 粘り気評価実験の結果。(a)パソコンを用いた実験室実験の結果。(b)スマートフォンを用いたオンライン実験の結果。


4.今後の展開
 本技術は、こうした「触れられないことによる不確実性」を、視覚情報とインタラクションによって補完するものであり、ユーザが自身の手の動きを通じて質感を直感的に把握できる環境を提供します。これにより、オンライン上での製品理解の向上や、購買判断の支援が期待されます。
 また、専用の触覚デバイスを必要とせず、一般的なパソコンやスマートフォンで利用可能であるため、導入コストや利用ハードルを抑えながら、広範なユーザへの展開が可能です。
 具体的には、食品や衣料品など、質感が購買判断に大きく影響する製品分野において、柔らかさや粘り気といった情報を視覚的に提示することで、オンライン上での体験価値の向上に寄与します(図1(c))。さらに本技術は、遠隔コミュニケーションにおける体験共有や、教育・訓練分野における直感的理解の支援、エンターテインメント分野における新たなインタラクション表現などへの応用も考えられます。これらの分野においては、質感を伴う体験を非接触で共有できる点において新たな価値を生むことが期待されます。
 今後は、実サービスへの適用を見据え、利用環境やデバイス差、通信遅延がユーザ体験に与える影響の検証を進めるとともに、実際の購買行動における有効性の評価を行います。また、産業分野との連携を通じて、具体的な利用シナリオに基づく実証を進め、社会実装に向けた検討を加速していきます。
 さらに、本技術で明らかにした視覚パラメータの枠組みを拡張し、重さや温度感など、他の質感要素への適用可能性についても検討を進めます。これにより、視覚を基盤とした質感提示技術の体系化を図ります。

5.関連する過去の報道発表
・2024年9月18日「資生堂とNTT、化粧品の触り心地を遠隔・非接触で体験できる技術開発に向けた共同研究を開始
~両社の強みを活かし一人ひとりの多様なニーズに応え、新たな体験の機会創出をめざす~」
https://group.ntt/jp/newsrelease/2024/09/18/240918a.html

・2025年5月13日「デバイスの装着なしに超音波で空中にリアルな触感を創出~触れずにつるつる・ざらざらとした多彩な触り心地を演出~」
https://group.ntt/jp/newsrelease/2025/05/13/250513b.html


6.発表した雑誌および国際会議の情報
[1] T. Kawabe, Y. Ujitoko, “Visual features involved in determining apparent elasticity elicit touch desire,” IEEE Transactions on Visualization and Computer Graphics, Vol. 31(10), pp. 9530 – 9536, 2025.
[2] T. Kawabe, T. Morisaki, Y. Ujitoko, “Unbreakable bond: induced viscosity between the fingers,” The 47th European Conference on Visual Perception, 2025.

【用語解説】
※1 Electronic Commerceの略で、インターネット上で商品やサービスを売買する仕組みを指す。
編集部おすすめ