スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)

１．スマートフォンでウェアラブルデバイスに匹敵する視線追跡を実現(1/3)まとめ

・眼球の運動を追跡する事はヘルスケアや様々なアプリケーションで役立つ可能性がある
・従来は高価な専用のハードウェアが必要となるため進歩の速度が限られていた
・スマートフォンで実行可能なアイトラッカーを実現したためユーザ層を拡大可能になった

２．スマートフォン搭載カメラと眼球運動の追跡

以下、ai.googleblog.comより「Accelerating Eye Movement Research for Wellness and Accessibility」の意訳です。元記事は2021年5月10日、Nachiappan ValliappanさんとKai Kohlhoffさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Alex Iby on Unsplash

眼球の動きは、1970年代以降、視覚科学(vision science)、言語、およびユーザビリティ全体で広く研究されてきました。基礎研究だけでなく、ユーザビリティやユーザー体験の研究、ゲーム、運転、ヘルスケア、視線ベースの操作で使い勝手を向上させる事などに繋がり、眼球運動をよりよく理解する事はさまざまなアプリケーションで役立つ可能性があります。ただし、これまでのほとんどの研究は、高価で簡単に拡張できない特殊なハードウェアが必要な視線追跡機構(eye trackers)の利用が前提となっていたため、進歩は限られていました。

Nature Communicationsに掲載された論文「Accelerating eye movement research via accurate and affordable smartphone eye tracking」及びnpj Digital Medicineに掲載された論文「Digital biomarker of mental fatigue」では、機械学習を利用してスマートフォンで利用可能な正確なアイトラッカーを紹介します。

これは、視覚、アクセシビリティ、ヘルスケア、ウェルネスの分野にわたるアプリケーションの新しい研究を解き放ちます。更にスマートフォンの正面部搭載カメラを使用して全てを実行するため、世界中の多様な人々に、桁違いに対象規模を拡大して提供できる可能性を秘めています。

また、精神的疲労を測定するデジタルバイオマーカーとしてのこのテクノロジーを使用する事で、健康状態の改善に役立つ可能性のある潜在的な用途についても説明します。

モデルの概要
私たちの視線モデルの中核は、MIT GazeCaptureデータセットでトレーニングされた多層フィードフォワード畳み込みニューラルネットワーク(ConvNet)でした。

顔検出アルゴリズムは、画像内の目の角の位置を選択し、目の領域だけを切り抜くために使用されました。これらの切り抜かれた目の領域は、重みが共有された2つの同一のConvNetタワーに入力として与えられました。

各畳み込み層の後には、平均的なプーリング層が続きます。目の角の位置は、完全に接続されたレイヤーを介して2つのタワーの出力と組み合わされました。正規化線形ユニット(ReLU:Rectified Linear Units)は、最終出力レイヤー(FC6)を除くすべてのレイヤーに使用されました。

個人向けに調整されていない視線モデルの設計
正面カメラ画像から抽出された目の領域は、畳み込みニューラルネットワークへの入力として機能します。完全に接続された(FC:Fully-connected)レイヤーは、出力を目の角の位置と組み合わせて、重回帰出力レイヤーを介して画面上の視線のx位置とy位置を推測します。

個人向けに調整されていない視線モデルの精度は、微調整と参加者毎に個人調整する事によって改善されました。後者は、軽量回帰モデルを最後から2番目のReLUレイヤーと参加者固有のデータに適合させました。

モデル評価
モデルを評価するために、同意した研究参加者が空白の画面のランダムな場所に表示されたドットを見た時のデータを収集しました。

モデルエラーは、視線位置とモデル予測の間の距離(cm単位)として計算されました。結果は、個人向けに調整されていないモデルは高いエラーでしたが、約30秒間の較正データを使用した個人向け調整により、エラーが4分の1以上減少したことを示しています(1.92cmから0.46cm)。25～40cmの視距離では、これは0.6～1°の精度に相当し、以前の研究で報告された2.4～3°よりも大幅に改善されています。