ヘッドマウントディスプレーを装着してVR(仮想現実)の世界に没入する。そんな体験が容易になった現在、関心を集めているのが視覚や聴覚以外の感覚を、どうやって付け加えていくかといったこと。遠く離れたロボットが手にした物体の感触を得る、VR空間に登場する物の匂いを感じるといった体験を可能にする技術が出てきて、仮想の世界を現実へと近づけている。
操作者がイスに座ってVRヘッドマウントディスプレーを装着する。両腕を機械のアームにセットし、指先にも装置をつけて動き始めると、横に置かれたロボットの腕や指が同じように動く。操作者が頭を振ると、ロボットの頭部にあるカメラが動いて、前にペットボトルと重ねられたプラスティック製のコップが置かれていることを伝える。操作者が両腕を動かすと、ロボットの腕が連動するように動いてペットボトルをつかみ、傾けてもう片方の手につかんだコップに水を注ぐ。
国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)と慶應義塾大学が開発し、9月28日に発表した身体感覚を伝送可能な双腕型ロボット「General Purpose Arm」の操作デモ。10月3日から6日まで、千葉市美浜区の幕張メッセで開かれたCEATEC JAPAN 2017でもデモが行われ、ロボットがここまで出来るのかといった驚きを感じながら見守る人が多かった。
ロボットを操縦して戦うアニメやドラマを見慣れた目には、どこが凄いのかが分かりづらいが、現実の世界でこうした動作を行うことは難しかった。物を持ち上げようとする時、対称が硬ければしっかりと掴み、柔らかければ優しくつまむ必要がある。人間なら目で対称が何かを確かめ、触れて硬さを感じた上で力を調整し、壊したり落としたりしないように掴むが、ロボットにはそうした調整が難しかった。