2023年5月16日、日本電信電話（以下、NTT）と三菱電機は、これまで操作が困難であったロボットアームを用いた作業を遠隔地から違和感なく持続的に操作可能であることを、実証実験により確認したと発表した。
NTTのネットワークおよびコンピュート基盤の連携制御技術と、三菱電機の遠隔操作技術を組み合わせたもので、力触覚情報（※1）を用いたロボットによる高度な遠隔操作を簡易なデバイスで実現できることに加え、遠隔操作を安全に実施可能であることが分かったという。
これにより、End-to-Endで遅延品質を管理・制御する技術を用いて低遅延品質保証が可能になり、また力触覚情報を色情報に変換する技術を用いて、機器数が少ないシンプルなデバイス構成で力触覚情報の伝達が可能になる。
その結果、ロボットなどによる高度な遠隔操作の適用領域の拡大や、操作者の拠点集約による効率化、労働人口減少等の社会課題の解決が期待される。
※1 力触覚情報：人が物を移動させる際や物を掴む際などに、物に触れた感触や物を掴む力具合を把握する感覚情報。
背景
労働人口の減少が進み、日本全国に技術者を配置・派遣することが困難になることが予想されている。また、新型コロナウイルスの感染拡大に伴いライフスタイルや業務スタイルが変化し、リモートワークは一般的なものとなった。
一方、遠隔では難しい業務が多くあることから、リモートワークが困難な技術者は依然として多い。自動化・機械化が困難な作業や、身体的、時間的、移動の制約などから業務に従事できていないケースなどがあるという。
高度な作業では視覚以外の感覚も使うため、遠隔作業を実現するには、映像情報に加えて物体との接触状態や作業中の力加減を知るための力触覚情報等の感覚情報の伝達が重要となる。
映像情報や力触覚情報等を、ユーザーが使用するデバイスの性能に依存せず安定的に伝達するには、映像情報や力触覚情報等の高負荷処理をネットワーク上のエッジサーバで行うなどの工夫が必要となる。
エッジサーバ上で処理を実施するにあたっては、ネットワークの観点では、エッジサーバでの処理も含めたEnd-to-Endサービスとしての遅延時間やジッタ（ずれや揺らぎ）を低くするだけでなく、システムの故障や性能劣化時にもサービスの品質劣化を招かないようにすることが課題となっていた。
また、デバイスの観点では、機器数が少ないシンプルな構成でありながら、映像情報等と同期して違和感なく力触覚情報を伝達する方法が課題となっていた。
技術のポイント
NTTグループでは次世代コミュニケーション基盤であるIOWN構想の具現化に向けて、2023年3月にAPN IOWN1.0（※2）サービスの提供を開始。光技術を用いた低遅延・低ジッタなネットワークの実現に取り組んでいる。
従来、ネットワークサービスを提供する際、エッジサーバの処理時間とネットワークの遅延時間に関し個々の品質管理は実施していたが、両者を組み合わせたEnd-to-Endでの遅延時間の評価や品質管理は実施されていなかった。
今回、APNのネットワークにおいて2地点間を複数経路で結び、エッジサーバでの処理時間とネットワークの遅延時間をリアルタイムに状態把握し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合には別の経路および別のサーバ処理に即座に切り替えることで、安定した低遅延サービスを提供するネットワーク＆コンピュート高速クローズドループ制御技術の研究開発を行った。
三菱電機では、視覚と力触覚との間の感覚間の相互作用を活用したVisual Hapticsを開発し、遠隔地の力触覚情報を色情報に変換し、視覚情報としてユーザに提示することで、力触覚デバイスなしで遠隔地の力触覚情報の伝達を実現してきた。
今回、Visual Hapticsをロボット内での実装からエッジサーバ上での実装に変更することで、ロボット側で必要な処理負荷を軽減するとともに、エッジサーバの切り替え動作にも対応可能なVisual Hapticsの研究開発に取り組んだ。
※2 APN IOWN1.0：通信ネットワークの全区間で光波長を専有するオールフォトニクス・ネットワーク。
実証実験
遠隔操作における同技術の効果を確認するため、NTT武蔵野研究開発センターにディスプレイとロボット操作用デバイス、NTT横須賀研究開発センターにロボットを配置し、直線距離50km強の2拠点間を、APNを模擬したネットワークで接続して遠隔操作を行う実験用ネットワークを構築した。
ロボット側で撮影したカメラ映像にはVisual Hapticsにより力触覚情報を付加し、操作者は力触覚情報を視覚的に確認しながら操作を行った。また、Visual Haptics処理に要する時間とネットワークの遅延時間をリアルタイムに測定し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合に別のネットワークおよび別のサーバ処理へと切り替える機能を備えた。
この実験構成において、エッジサーバを過負荷状態にして遠隔操作環境を悪化させた場合、従来構成では遠隔操作が困難になったが、提案構成では品質が悪化してから約100ms後には切り替え制御が完了したことに加え、力触覚情報等の感覚情報を遠隔に伝達することで違和感なく操作ができ、提案技術の有効性を確認した。
同実証実験の成果は、高度な作業をアシスト機能付きの遠隔操作で実施可能とし、場所を問わない作業の幅を広げることが期待される。今後は適用可能領域を広げ、遠隔手術や遠隔設備修理などさまざまなユースケースに適用することで、場所にとらわれない働き方の具現化に取り組むとしている。