2024年12月20日、NTTデータグループ、NTTコムウェア、伊藤忠テクノソリューションズ、三菱ケミカルグループは、IOWN APN（※1）を活用したロボットの遠隔操作とAIを活用した映像解析による、工場設備の遠隔点検の共同検証を行ったことを発表した。
検証の結果、工場壁面上のパイプの亀裂をリアルタイムに検知し、劣化の兆候であるパイプの振動を精密に解析するなど、映像の遅延時間や画質の観点で実用化が可能となる高い水準の数値結果を得た。
次の段階では、三菱ケミカルグループの製造現場に通信環境を整備し、ロボット活用やAI解析による異常検知について検証を行うとしている。
今後は、複数のロボットやデバイスを用いた映像や音などの環境情報の同時取得や、マルチモーダルAI解析（※2）の実施による、遠隔地にある工場の様相のより高精度かつリアルタイムでの把握を目指す。
※1 APN（All-Photonic Network）：IOWN（Innovative Optical and Wireless Network）を構成する主要な技術分野の1つとして、端末からネットワークまで、すべてにフォトニクス（光）ベースの技術を導入し、エンド・ツー・エンドでの光波長パスを提供する波長ネットワークにより、圧倒的な低消費電力、高速大容量、低遅延伝送の実現を目指すもの。APN環境はAPNを支えるインフラの総称。
※2 マルチモーダルAI：実現したい内容に応じて、さまざまな種類の入力情報を利用して統合的に判断ができるAI。モーダルとは、AIに対する入力情報の種類（映像、音、テキストなど）を指す。
検証の概要
工場等の製造現場では、設備保全のための定期的な点検が欠かせず、施設規模が大きいと点検に多くの手間がかかる。また、転落などの危険が伴う高所点検もある。こうした現場作業員の負担を減らすため、高速かつ超低遅延、広帯域の通信を可能とするIOWN APNを活用し、遠隔地からロボットを巡回させる仕組みや、リアルタイムな映像を用いたパイプの異常を検知する仕組みを検証した。具体的には、お台場・五反田間を120km離れたAPN環境として構築し、複数のデバイスから高画質な映像を低遅延で遠隔地に送信し、AI解析による設備の異常検知を検証した。
【各社の役割】
| NTTデータグループ | ロボット、パイプの振動解析システムの提供 |
| NTTコムウェア | APN環境の提供、画像認識AIの提供、壁面上のパイプの亀裂の解析結果をデジタルツイン環境に可視化するアプリケーションの提供、ロボットの提供 |
| 伊藤忠テクノソリューションズ | RDMA対応FAカメラ環境の提供、APN経由の非圧縮リアルタイム映像伝送検証 |
| 三菱ケミカルグループ | 工場設備点検に必要となる機能要件や非機能要件等の定義 |
各社の検証内容・結果
NTTデータグループ
NTTデータグループは、コンピュータービジョンに関する技術と最新のロボットを組み合わせることで、遠隔地にある設備を自動点検・監視する構想の実現を目指している。
今回の検証では、Unitree製の犬型のロボット「Unitree Go2」を遠隔操作し、ロボット搭載カメラで撮影した映像をもとに、検査対象物であるパイプの振動をAIで解析した。パイプの異常振動は、劣化や破損の兆候を示す。
これまで目視や音で判断していた点検作業は、作業員の熟練度に依存しており、見落としや誤判断のリスクの軽減が求められている。本検証では、人工的に発生させたパイプの振動が、ロボットが撮影した映像から精度高く解析されるかを検証し、遠隔操作と映像解析ともに設定していた目標値を達成することができた。
【遠隔操作】
ロボットは拠点間のAPNに問題なく接続。また、ロボットのカメラからオンデマンドに配信される映像は、遠隔地のPCで作業者が遅延を感じることなく操作でき、作業者が映像を見ながらPCのキーボードやリモコンでロボットを遠隔操作できることを確認した。
【映像解析】
ロボットのカメラが認識・撮影した、パイプの映像から振動の有無を解析した。ロボットは、マーカーから解析対象のパイプを認識しており、パイプの認識違いはなかった。また、映像解析からパイプの振動振幅と周波数を取り出すことができた。ロボット自体もモーターなどで振動している中、問題なく映像からパイプの振動を解析でき、パイプが振動している時間を特定することができた。この結果を受けて、実用レベルの参考値として指定した振幅0.1mm、周波数60Hzを解析できるか、三菱ケミカル岡山事業所設備技術部と動作確認をしている。
NTTコムウェア
点検ロボット搭載カメラで撮影した、遠隔地の工場設備等の映像をAI解析してデジタルツイン化することにより、スマートメンテナンスの実現を目指している。
この検証では、プロジェクト全体のマネジメントを担い、検証環境の構築・実装や進捗管理を行った。APN経由のストリーミング映像を解析して検知した壁面上のパイプの亀裂をデジタルツイン環境にリアルタイムに反映し、遠隔地から参照可能であることを検証した。
【APN等検証環境の構築】
検証場所であるお台場・五反田間において、最大120kmの遠距離としての検証を可能とするAPNを設計、構築した。検証で使用するデジタル空間は、NTTコムウェアの4DVIZを利用し、3Dのデジタルツイン空間として実装した。
【画像認識AIによる亀裂検知と解析】
遠隔で操作する点検ロボット（HBA SMART ROBOT）のアームに取り付けたカメラで撮影した映像をもとに、画像認識AI Deeptectorによる解析を行い、現実空間の壁面上のパイプの亀裂を検知してデジタルツイン環境に即時反映する検証を行った。あわせて、デジタルツイン環境において、現実空間と同じ位置にプロットした亀裂を示すアイコンをクリックすると、現実空間の亀裂のある箇所の画像を参照可能とする仕組みを確認した。
今回の検証では4K 60fpsの高解像度映像を無線とAPNを通じて送信。遠隔地においても遅延を感じることなく亀裂の検知や解析が可能であり、設備点検への実用化可能な水準であることを確認した。
伊藤忠テクノソリューションズ
CPUを介さずにメモリーへの高速なデータ通信を可能にするRDMA（Remote Direct Memory Access）カメラを用いてAPN上での大容量な映像をライブで伝送する検証を行った。
カメラとPCをつなぐAPN間の距離を0～120kmに変化させながら、映像を送信した結果、APN間の距離が長くなるにつれてスループット（データ転送速度）とfps（フレームレート）の低下がみられた。2Kと4Kの映像の実測値からシミュレーションを行い、APN距離とスループットの関係性を明らかにした。また、映像の遅延に関して、APNの伝送遅延よりも機器の処理遅延の影響が大きく、機器選定の重要性がわかった。さらに、今回のRDMAによる伝送は一般的なTCP伝送と比較して、CPU負荷が6％軽減され消費電力の抑制効果を確認した。
三菱ケミカルグループ
今回の検証の前に、製造現場での予備検証を通じて、遠隔点検における現場でのニーズや把握しておくべき条件の特定に協力。また、将来的な実用化に向けて、設備保全エンジニア等の現場作業員が持つ工場設備点検の負担原因を掘り下げ、今回の検証条件（振動条件やデータ容量・速度など）に反映した。