2023年5月24日、東北ドローンは、東北⼤学タフ・サイバーフィジカルAI研究センター（以下、東北大学TCPAI）との共同研究により、⾃動⾶⾏ドローンと⼈検出AIによる「⼭岳遭難者探索システム」を研究開発したことを発表した。

　ドローンの電源投⼊から空撮、遭難者発⾒、クラウド経由の報告までを完全に⾃動化。夜間・⼀部通信圏外のロボット競技会において、その性能を実証した。

現状の課題と解決策

　⼭岳遭難は近年右肩上がりに増加している。捜索する側は、遭難が発生した場合には山間部を数日にわたり大人数で捜索するため、多大な運用費用に加えて捜索者側の安全リスクも高まるといった課題がある。

　東北ドローンと東北大学TCPAIは、2022​年度にドローンを使った遭難者探索システムの共同研究に着手。東北大学TCPAIでは、社会や産業の課題解決へ向けたロボットやAIの研究開発を行っており、東北ドローンのドローン運用ノウハウと、東北大学TCPAIの研究実績を合わせることで、実践的なシステムの開発を目指した。

　開発したシステムでは事前に設定した範囲をドローンが自動航行し、熱画像カメラの映像から自動で人らしき箇所を捉え、その位置座標を送信する。空から捜索する中で人らしきものを見つけた場合、その位置情報を伝えるという流れを捜索と一貫して行う。

　具体的には、ドローンが離陸後に赤外線カメラを使用して赤外線映像を撮影。次に、白黒の赤外線映像から、周囲の環境よりも温度が高い（色が白い）人の特徴をもった形状をAIが認識する。そして動画を画像に切り分け、AIが認識した物体に関する位置情報を計算し、着陸後または上空利用が可能なSIMカードを搭載した端末から拠点に送信する。送信するデータは、全体のうちAIが認識した部分のみになるため、データ確認は容易となる。

　東北ドローンが機体や通信、東北大学TCPAIが遭難者検出や位置特定技術の開発を主に担当した。

　映像中から人を検知するために、YOLOv7という物体検出AIモデルを採用。YOLOv7に上空から人を撮影した赤外線画像を使った独自のチューニングを施すことで、検出機能を実現し、チューニング後のYOLOv7では、赤外線画像から人らしき物体を検出して矩形（長方形）とテキストで表示する。

研究開発の方向性

　捜索者にとって安全な仕組みができることで、昼夜を問わない持続可能な捜索が可能になると見込み、テクノロジーを使用した捜索者のための課題解決を検討した。

　東北ドローンでは、ドローンを活用して空から遭難者を捜索するシステムを開発することで、人が現場に赴き捜索するリスクを減らすとともに、遭難者の早期発見に貢献することができると考え、ドローンの電源投入から飛行、分析者へのデータ送信まで、人の介入が少なくなるようなシステムの開発を検討した。

　既存製品の組み合わせでは自動で物体を見つけることは困難であるため、自動で人を検知し、その場所を推定するシステムを目指すとともに、夜間の捜索も可能とするため熱画像カメラを採用した。

ジャパン・イノベーション・チャレンジ2022における検証

　遭難者救助のテクノロジーを競うロボットコンテスト「ジャパン・イノベーション・チャレンジ2022」（以下、JIC2022）において、両者は「東北ドローンと東北大QuixAir」として、コンテストの課題のひとつである「発見」に注力して参加し、システムの検証を行った。

　コンテストでは実際の山間部に捜索対象となる人の体温を模した人形（模擬被災者、以下マネキン）が複数体設置され、出場者は夜間にロボットを使ってマネキンを捜索する。

　地形による伝送の乱れや低温などの影響から、制限時間内の課題達成はできなかったが、後の検証で、自動航行から帰還したドローンはターゲット（マネキン）らしき物体を検知しており、推定した位置座標も誤差が少ないことがわかった。

　JIC2022でマネキンを検知したシステムの性能を定量的に評価することで、システム改善の具体的な方向性がわかることから、2023年1月に福島ロボットテストフィールド（以下、福島RTF）内において、JIC2022と同様のマネキンを配置して再度システムの運用を行い、そこで取得したデータをもとに検証を行った。

　これによりAIの評価指標である再現率と適合率を求めることができた。再現率は、検出すべき物体のうち、正しく検出された物体の割合を表しており、偽陰性を考慮して見逃しをなるべく抑えたいときに有用な評価指標となる。適合率は、システムが検出した物体のうち正しく検出された物体の割合を表している。誤検知などをなるべく抑えたいときに有用な評価指標である。

検証結果

　福島RTFで複数回取得したデータを東北大学TCPAIが分析。その結果、全体の再現率は50.9％で、適合率は90.5％であった。これらの評価指標には目安となる絶対的な数値基準はなく、あくまで相対的な評価としてAIの精度を検証するために用いられる。

　適合率90.5％という数値は高く、AIは陽性と検知した物体の9割が正しい結果であったことを示している。一方、再現率の50.9％は改善の余地があることを示している。これは陽性全体のうち、AIは約半数の陽性を陰性と判断していると言い換えることができる。

今後について

　JIC2022と福島RTFにおける検証から、AIの推定による再現率の向上と、探索システムの精度向上が課題であることが分かった。再現率は、見逃しをなるべく抑えたいときに使う指標となる。再現率を上げることで、飛行ルート内の遭難者を見逃さないシステムに近づくが、現時点ではAIの追加学習が必要となっている。探索システムの精度については、熱画像カメラに付随するパラメータやドローンのタイムスタンプの取得によって、より正確な位置推定につながるデータの取得が可能となるが、現在使用しているカメラの技術的な分析などが必要となる。両者はこれからも実用へ向けた研究開発を続けるとしている。