2021年1月12日、ロックガレッジは、ドローンの熱赤外映像から抽出した人影をAR/MRグラスに立体投影し、要救助者の位置や状態を直感的な視覚情報として救助隊員同士で共有できる「3rd eyeドローンシステム」を開発したことを発表した。

 ロックガレッジは、ドローンの映像をAIによって自動解析し、捜索対象の人影や物の位置をリアルタイムに特定し、オンラインで共有するシステムの開発を行っている。1月8日、福島ロボットテストフィールドにて災害現場での要救助者捜索を想定し、地上からは死角となる建物の屋上に取り残された要救助者をドローンとAIによってリアルタイムに特定、複数人のAR/MRグラスに投影する実証試験を行い成功した。

開発の背景

 大規模災害が発生すると、多数の要救助者が発生する。要救助者の生存率を高めるには、いわゆる72時間の壁と呼ばれる限られた時間の中で一人でも多く救助することが重要であるが、夜間、浸水、瓦礫の散乱等により、隊員の救助活動が大きく制約される場合がある。こうした状況下でも効率よく初動捜索を行うためドローンが救助現場で用いられつつあるが、ドローンが収集した情報はオペレータが一度集約し、タブレット等の端末や言語で周囲に伝達するという運用が主流となっている。しかし、こうした方法では情報のロスや伝達の齟齬、説明作業が発生するため、一刻を争う救助作業にとって非効率である。

理想的な情報共有

 理想的な情報共有は、要救助者が発見され次第、救助隊員全員に即時伝達され、その場所が直感的に示されることである。ロックガレッジでは、MR(Mixed Reality)グラスにドローンとAIによって自動検出した人影の位置・姿勢を立体映像として投影するシステムを開発し、言語等を使用せず複数人が要救助者の正確な位置を即時かつ直感的に把握・共有することに成功した。

実証試験でAR/MRグラスに投影された立体映像

開発の経緯

 本システムは、福島イノベーション・コースト構想推進機構主催イノベーション創出プラットフォーム事業の採択を受けて開発を進めている事業であり、複合現実(MR)技術にmofmofの技術協力を得て開発された。今後は主にイノベ地域をはじめとする消防署等と連携し、システムの完成度を高めていく、としている。

応用範囲

 消防署、警察署等のレスキュー活動での利用を想定しているが、AIによる検知対象を変えることにより人以外も検知の対象とすることができるため、点検、獣害調査等にも応用が可能。