2024年4月18日、ホロラボと西松建設は、ドローンによる空撮映像に3Dモデルをリアルタイムで重ね合わせ、ヘッドマウントディスプレイ（以下、HMD）と連携して施工の可視化、ドローンの操縦支援を行う技術を開発したことを発表した。
施工段階における3Dモデル（CIMモデル）を活用した生産性向上、現場管理業務の効率化が進んでいる。現実世界にCGによる視覚情報を重ねるAR（拡張現実）技術は、施工状況のイメージを共有し、早期の課題把握や改善策提案、施工の手戻りの抑制といった効果が期待されるが、現行のAR技術はスマートフォンやタブレット端末、HMD等による地上からの主観視点に限られており、計画全体を見渡すには高所に登らなければならない。また、複数箇所にわたって確認するには現場内を移動して地点ごとにARの位置合わせをする必要があった。
そこで両社はドローンを活用し、自由視点で3Dモデルを重畳（ちょうじょう）する技術開発を行った。
ARの重畳はQRコードなどのマーカーを使用した手法が一般的だが、今回はDJI社のドローン「DJI Mavic 3 Enterprise」にRTKモジュールを搭載し、GNSSによる位置情報とドローンの姿勢、カメラの情報をひも付け、マーカーを使わずにリアルタイムなAR重畳を行った。設計の緯度経度情報を利用することで、登録された指定座標にWebブラウザから直接3Dモデルを配置できる。
操作が複雑化するのを防ぐため、操縦者は透過型XR HMD（Trimble XR10 with HoloLens 2）を装着し、操縦している手を放すことなくさまざまな情報が把握でき、操作を補助するシステムを開発した。
XR10に投影される空間ヘッドアップディスプレイ（HUD）では、AR重畳された空撮映像や、ハンドトラッキングで操作できる3Dモデルの制御UI、撮影機能、飛行中のドローンの各種ステータスが確認できる。また、ARで投影された地図上にはドローンの飛行位置が表示される。カメラの向きを切り替えて確認する必要がなく、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握できる。
ARレンダリングを現場ネットワーク内の高性能PCで処理して映像を共有することで、各デバイスの負担を軽減し、高解像度なリアルタイムレンダリングと通信速度を実現。遠隔会議システムと連携することで空撮映像を共有できる。
現場検証
西松建設が施工中のダム建設現場（宮城県名取市）でフィールド検証を実施。ドローンによる空撮映像にダム堤体や岩級区分の3Dモデルを重畳し、自由な視点での現場全体の確認や、現況と施工計画の比較ができた。ドローンを活用することで、従来のAR技術と比べて現地での移動時間を大幅に短縮した。
HUDでは、重畳映像やドローンの内部情報、飛行する機体の位置を地図上に表示するため、操縦者はドローンを操縦しながら機体の状態、飛行位置、3Dモデルの重畳など複数の情報を同時に確認することができる。
今回の開発検証では、ドローンの移動中の伝送速度とレンダリング速度の差による重畳精度のずれなどを確認したことから、今後は精度向上とシステムの最適化、操作性・利便性の向上に向けて機能を拡張し、汎用利用可能なサービス展開を目指し開発を進めるとしている。