取材できる場所なら全国どこでも津々浦々、ユニークで面白いドローンを探し求めて幾千里。「突撃！ 全国高専・大学ドローン漫遊記」の第二回目の始まりです。今回、取材先としてお邪魔させていただいたのは、ヒトと共存するロボットを研究している東海大学の甲斐教授率いる研究室です！ 同研究室では、パワーアシストスーツや歩行支援ロボットなどを開発していますが、ここでは一風変わった「目だけで動かせるドローンシステム」をご紹介します！
【今回の訪問先】
東海大学
工学部 機械システム工学科
甲斐義弘研究室
http://kai.ez.u-tokai.ac.jp/
まずは御覧あれ！ 目だけで誰でも簡単に動かせるドローンシステム
今回の取材先の東海大学は、神奈川県平塚市にあります。キャンパスはとても広大で、甲斐研究室には学内を自動車で移動して、ようやく辿り着きました。さて第二回目の連載で甲斐研究室に取材をお願いした理由は、「目だけで動かせる！」という超能力みたいなドローンを研究しているという噂を聞きつけたからです。
「本当に目だけでドローンを動かせるのかな？」と半信半疑で研究室を訪ねると、甲斐教授と研究室の皆さんが広い共同実験室で待っていてくれました。まずは論より証拠、実際にドローンが目だけで動く様子をご覧ください。視線だけでドローンがホバリングを始め、画面に向けた視線に従ってドローンが旋回し、カメラの方向を変えている様子が動画から見て取れるでしょう。
ところで、なぜ甲斐教授は、このように一風変わったドローンを開発しようと考えたのでしょうか？ その動機について訊ねてみました。
甲斐教授は、実用的で社会貢献できるような「ヒトと共存するロボット」の研究を常に行いたいと考えているそうです。また、研究室の学生には、なるべく希望する研究をしてもらいたいとのこと。そこで冒頭で触れたパワーアシストスーツや歩行支援ロボットなどを学生達と共に開発してきました。目だけで動かせるドローンも、これまでの研究の延長線上にあるのです。
甲斐教授は「元々ドローンは研究しておりませんでしたが、研究室に新たに入ってきた学生がドローンの研究をやりたい！ と熱望したのを機に、その学生と研究テーマを模索致しました。その結果、体が不自由な患者さんや寝たきり高齢者のQOLを向上できるようにドローンを目で動かせるようにしてみようという話になり、2016年頃から本格的に研究を始めました」と語ります。
ご存じのとおり、日本は高齢化社会が進んでいる課題先進国です。近年は、病院での長期介護を必要とする寝たきりの高齢患者も増加しています。政府は、高齢者や障がい者を健常者と同等に、当たり前のように生活できる社会こそがノーマルな社会であるという「ノーマライゼーション」の理念に基づいて、誰もが旅行などを楽しめる環境づくりを推進しています。
「現状では、寝たきりの患者さんが旅行会社を通じて遠方に旅行することも可能ですが、ヘルパーさんの支援も必要になります。患者さんが遠方の景色を楽しんだり、現地の人々と会話したりするにも、かなりハードルが高いものになっています。そこで、寝たきりの患者さんが、自宅や病院に居ながらにして、気軽に遠方の景色や現地の人々との会話を楽しむことをサポートできるシステムが構築できればと考え、研究を行って参りました」と甲斐教授は説明します。
目でドローンを操作すると何が良いの？ そのメリットを他方式と比べてみると……
では、目でドローンを操作すると一体何が良いのでしょうか？ これまでも甲斐教授は、体の不自由な人がロボットを操作するためのリモート制御の研究にチャレンジしてきました。しかし、どれも操作に一長一短があったとのことです。
甲斐教授は「たとえば、ロボットを操作するには、人の脳波（EEG）や筋電位（EMG）、呼吸を用いる方法もあります。しかし、これらの方法では、電極を頭や体に取り付けたり、口の中にセンサを入れたりする必要があるため、患者さんにとって衛生面の問題がネックになります。また音声で操作する方法も考えられますが、人との会話により誤動作を起こしたり、ALS（筋委縮性側索硬化症）の患者さんの場合は発声が難しいこともあります。一方、人の眼球運動はALSを発症した場合でも、比較的侵されにくい身体機能であると言われています。そこで衛生的で多くの患者さんが使用できるようにと考え、目（視線）によるコントロールを選んだわけです」と説明します。
またドローンを用いること自体にもメリットがあります。車輪や脚で移動するロボットでは、段差や障害物をロボットが乗り越えられない場合、オペレータである患者さんに余計なストレスがかかってしまいます。その点、ドローンであれば段差や障害物の上を飛べるので、比較的移動も容易になります。目でドローンを操作できるようにすれば、多くの患者さんに、ストレスが少なく、遠隔地の風景等を楽しんでもらえるのではないかと考えたわけです。
シンプル構成のシステムで、目を使ってドローンを動かす仕組みとは？
では、ここからは目だけで動かせるドローンシステムの構成について詳しく解説していきましょう。
主なシステムは、視線検出デバイス、操作画面、コンピュータA、コンピュータB、インターネット、ドローンコントローラのジョイスティックを制御する独自装置、ドローン、ドローンコントローラ、スマートフォン、Web会議サービス（Zoom）で構成されています。
視線検出デバイスは、スウェーデン・Tobii社の「Tobii Eye Tracker 5」（Tobii Eye Tracker 4Cも使用可）を使用しています。衛生面も考慮して、ウェアラブルでない装置を用い、コンピュータAの操作画面に取り付けています。
視線を捕捉するアイトラックの原理は、眼球画像から瞳孔の中心と角膜上に映るイルミネータ照明の反射を確認することで、瞳孔の位置と照明の反射から被験者の視線を計算するというものです。また、操作画面のデザインとジョイスティック制御装置は、甲斐教授らが独自に考案したもので、これが本システムのキモになります。
ドローンシステムの操作の流れについては、まず現地側のドローンのカメラ映像を、ドローンコントローラを介してスマートフォンに送ります。このスマートフォンは、被験者の患者さんがいる遠隔地のコンピュータAとZoomでつながっており、現地映像がコンピュ―タAを介して操作画面に表示されます。患者さんは、このカメラ映像を通して、離れた現地の景色を確認できます。さらにコンピュータAに接続されたマイクとスピーカと、コンピュータBに接続されたマイクとスピーカを使用し、現地スタッフとコミュニケーションをとることができます。
次に、ドローンを操作するときは、コンピュ―タAに取り付けられた前出の視線検出デバイスで、患者さんの視線位置を検出します。その視線の位置データがコンピュータAからインターネットを経由して、現地コンピュータBに送信されます。コンピュータBは、患者さんの視線データに基づいて、ジョイスティック制御装置に操作コマンドを送信し、その操作指令に基づいて、ドローンコントローラの2本のジョイスティックを直接メカニカルに動かして、ドローンの動きを制御するという仕組みです。
使い勝手を良くするために一番苦労した画面設計の工夫とは？
本システムで特に工夫した点は、いかに患者さんが簡単に操作できるHMI（ヒューマンマシンインタフェース）をつくるかということでした。ドローンは3次元で移動しますが、患者さんが見つめる画面は2次元であるため、操作画面のデザインには苦労を重ね、何度も作り替えたそうです。
甲斐教授は「ドローンの操作を行うために、最初は画面上のいろいろな場所に移動ボタンを置き、そこに視線を合わせてもらうように設計していましたが、改良を繰り返して現在の形に辿りつきました。というのも、映像を見て上下左右ボタンに視線を合わせ、また映像を見てからボタンに視線を合わせてドローンを微調整する操作フローを繰り返すと、ボタンと映像の間で患者さんが何度も目を動かさなければならないため疲れてしまうし、ドローンの操作も上手くいかずに、すぐに墜落してしまうからです」と説明します。
また後述する人間の目の特性であるマイクロサッケードにより、ドローンの誤動作を起こさないデザインにもなっています。最終的には、以下のような操作画面にすることで特許も取得しました。
具体的には、コンピュータAの操作画面は6つのエリアに分かれています。操作画面は現地映像とオーバーラップされて映りますが、基本的に操作者の患者さんは、後述する通り、その現地映像の中で見たいもの（ターゲット）を画面中央にある大円形エリア（1）の中でじっくり観察することができます。大円形エリア（1）の下にも小円形エリア（2）がありますが、その理由も後述します。
大円形エリア（1）の周りには「上下左右」のエリアが用意されています。まず、患者さんが大円形エリア（1）を見つめるとドローンがホバリングします。次に小円形エリア（2）を見ると、ドローンが一定の並進速度（実証実験では0.1m/sにプリセット、以下同）で前進していきます。
「患者さんが操作することを考慮して、ドローンの速度を設定しています。次に患者さんが右エリアを見ると、ドローンは一定速度（実証実験では7.5°/sにプリセット）で右旋回します。逆に左エリアを見れば、ドローンは左旋回します。上のエリアを見ると、ドローンは一定速度で上昇します。また下のエリアを見ると同様に一定の並進速度で降下します。このようにシンプルなインタフェースになっています」と甲斐教授。
このシンプルなUI（ユーザインタフェース）によって、患者さんは操作画面上に映ったターゲットを見続けると、中央の大円形エリア（1）内にターゲットが入るようにドローンが移動するので、患者さんはドローンをホバリングさせながらターゲットをじっくり見ることができるようになります。以前のように、いちいちターゲットを見て、矢印ボタンを交互に見て操作する必要はありません。
もう1つUI設計で考慮した点は「マイクロサッケード」と呼ばれる眼球運動です。人間が一点を見つめるとき、実は眼球が常に小刻みに動いており、約1～2度（周波数：1～3Hz）で振幅しています。これは不随意運動なので、いくら人間が意識しても止められません。そのため患者さんの視線が意図せず別のエリアに入ってしまい、ドローンが誤動作するリスクがあります。これを防止するために、患者さんが操作画面上の一点を見たときに視線位置が動き得る円の半径rを以下の式で算出し、この半径rを基本とし、前進円の小円形エリア（2）は2rに設定し、ホバリング円の大円形エリア（1）は10rにマージンを持たせた設計にしているそうです。
半径r＝ltanθ
（ l はコントロール画面と患者さんの目の間の距離、θはマイクロサッケードの振幅）
次に工夫した点は、ジョイスティック制御装置です。この装置は、患者さんの視線位置データに基づいて送られてきた操作指令から、各2本のジョイスティックを機械的に直接動かす機能を持っています。この装置は先に触れた2つの目的で開発されました。
まず1点目は、さまざまなドローンに対応できるように汎用性を持たせるためです。このジョイスティック制御装置は、ジョイスティックのヘッド部にキャップを付け、異なる種類のドローンでも操作パラメータを微調整すれば動かせるように設計されています。
2点目の目的は、システムに何かトラブルがあったとしても、ドローンコントローラの近くにいる現地スタッフがジョイスティック制御装置のモータのスイッチを切って、手でジョイスティックを操作することで、安全にドローンを操作して着陸させるためです。ジョイスティック制御装置のモータは、バックドライブ機能を備えており、モータのスイッチを切った後でも、ジョイスティックを簡単に動かせるようになっているのです。細かいところですが、安全性を担保するには重要なポイントになります。
神奈川県の東海大学と香川県の病院間で、本システムの有効性を確認！
目で動かすドローンシステムは、すでに神奈川県の東海大学と香川県の病院の間（約700km）で臨床実験が行われており、その有効性も確認されています。被験者である6名の高齢者は障がいレベルも異なっていましたが（寝たきりの患者さんは2名）、東海大の建物の屋上にあるドローンを目だけで遠隔操作し、コンピュータAに付けられたマイクとスピーカで東海大の学生さんと会話することもできました。
被験者の高齢者からは「ドローンの操作は難しくなく、目で操作しても疲れなかった。ドローンを自分で動かしながら、富士山が見えたり、学生さんが手を振ってくれている様子を見ることができた。楽しかった。もう一度、ドローンを飛ばしてみたい」という喜びの感想もあがったそうです。
神奈川–香川間の長距離になると、「通信のレイテンシーの影響により、患者さんの操作とビデオ応答のタイムラグが発生して、操作しづらいのでは？」とも感じましたが、ほとんど影響はなかったそうです。
甲斐教授は「実証実験では、あえて通信状態の良い状態と悪い状態を設定し、タイムラグの最大値と最小値が約12秒と1秒以内で実験しました。それでもドローンが墜落することはなく、被験者の皆さん全員がドローンを飛行させることに成功しました。またインターネットの通信が切れて50ms経つとドローンがホバリングする機能も装備することで、通信状態が良くない環境でも安全に飛ばせるように配慮しました」と説明します。
今回は、長期入院で寝たきりの患者さんを対象とした実験でしたが、今後はALSなど他の症状の患者さんも対象に実証実験を進め、本ドローンシステムの更なる有効性を検証していくそうです。
また甲斐教授は、上記の実証実験よりも遠距離のフィリピン・セブ島や米国からも、本システムを試しています。将来的には、地球上のどこからでも参加できる「目で操作するドローン競技大会」が開催できるようになるかもしれません。
将来的には、ハンド付きのドローンを目と手で制御する仕組みなどにも挑戦！
最後に本システムの今後の展開についても聞いてみました。いま甲斐研究室では新しい研究も進めているところです。たとえば、別のロボットと本ドローンシステムを組み合わせて利用することにも挑戦しています。
「目でドローンの操作ができるようになったことで、空いた手を使って他のロボットをオペレーションできるようになります。将来的にはドローンにアームを付けて、目で飛ばすと同時に、手でアームを操作して何か作業を支援するといったことにも応用が利くようになるでしょう」と甲斐教授は語ります。
ほかにも目で動かすことに加え、声などの別のインストラクションを組み合わせることで、より冗長性の高い操作が行える仕組みも構築できそうです。最近流行っている生成AIをシステムに適用することも研究の視野に入っているとのことでした。
甲斐研究室のドローン開発は、体の不自由な人々はもちろん、一般のアプリケーションとしても応用が利くものです。実際に筆者も本システムを試しましたが、すぐに目でドローンを動かせるようになりました。こういったシンプルで誰でも使えるシステムが、新たなロボットの可能性を広げていくでしょう。今後の本研究の進展に期待したいと思います！