MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(1/2)

１．MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(1/2)まとめ

・MediaPipe Irisは目の場所をハードウェアの力を使わずに機械学習のみで特定できる
・プライバシーに配慮して個人を識別可能な情報や視線の推測などは行わない
・多様な地域から様々な照明とポーズで約5万の画像を収集して学習させた

２．MediaPipe Irisとは？

以下、ai.googleblog.comより「MediaPipe Iris: Real-time Iris Tracking & Depth Estimation」の意訳です。元記事の投稿は2020年8月6日、Andrey VakunovさんとDmitry Lagunさんによる投稿です。

元タイトルにあるアイリス(Iris)からは、統計解析系の人は有名なIrisデータセットからアヤメを連想したり、もしくは女性の名前として使われる事も多いので何かのキャラクターを連想する人もいるかもしれませんが、今回のMediaPipe Irisは眼球の「虹彩」の意味です。目の玉の色のついてる部分ですね。虹彩の中の更に色の濃い部分が瞳孔です。

アイキャッチ画像はアヤメ方のIrisでクレジットはPhoto by Kevin CASTEL on Unsplash

2020年12月追記)その他のMediaPipeシリーズのまとめ記事はこちら。

計算写真(例えば、ポートレートモードや太陽光が差し込んできているように見える効果)や拡張現実効果(たとえば、仮想空間のアバター)を含む幅広い実世界のアプリケーションは、虹彩を追跡して目の位置の推定する機能に依存しています。正確な虹彩追跡が利用可能になると、専用の深度センサーを使用しなくても、カメラからユーザーまでの距離を測定できることがわかります。これにより、計算写真を使って、適切なサイズの眼鏡や帽子の仮想試着にから視聴者の距離に応じてフォントサイズを採用する使いやすさの向上まで、さまざまな使い勝手を改善できます。

虹彩のトラッキングは、限られたコンピューティングリソース、様々な光の状態、髪の毛や目を細めるなどの虹彩が見にくくなる障害物の存在により、モバイルデバイス上で解決するのが難しいタスクです。多くの場合、洗練された専用ハードウェアが使用されるため、専用ハードウェアが使用できないデバイスでは使えません。

中央：従来の研究成果であるMediaPipe Face Meshを使用しても、仮想アバターを連動できます。
右：虹彩トラッキングを更に加える事で、アバターが更に生き生きと連動するようになります

MediaPipe Irisによって可能になった目の色を変更するデモ

本日、正確な虹彩推定を行う新しい機械学習モデルであるMediaPipe Irisを発表します。

MediaPipe Face Meshに関する研究を基づいて構築されたこのモデルは、虹彩、瞳孔、目の輪郭などの目印となる箇所を、専用のハードウェアを必要とせずに、リアルタイムで単一のRGBカメラを使用して追跡できます。

虹彩の目印を使用することにより、モデルは、深度センサーを使用せずとも相対誤差10%未満で被写体とカメラ間の距離を測定することもできます。

虹彩トラッキングは、人々が見ている場所を推測するものではなく、且ついかなる種類の個人識別情報も提供しないことに注意してください。

MediaPipe IrisはMediaPipe、すなわち研究者と開発者が利用可能な世界クラスのMLソリューションとアプリケーションを構築するためのオープンソースのクロスプラットフォームフレームワークを使って実装されているため、最新の携帯電話、デスクトップ、ラップトップ、さらにはWebブラウザ上でも実行できます。

遠視で近くが見にくい人のために使い勝手を改善したプロトタイプ
ユーザーとデバイスの距離に応じて文字の大きさが一定に見えるように調整しています。

虹彩追跡用の機械学習パイプライン
パイプラインの最初のステップでは、3D Face Mesheに関するこれまでの研究を活用します。3Dフェイスメッシュは、高精度に顔の目印を捉えて、おおよその顔の形状をかたどったメッシュ(網)を生成します。このメッシュから、虹彩追跡モデルで使用するために元の画像の目の領域を分離します。

次に、問題は2つのタスクに分けられます。

目の輪郭の推定と虹彩位置の推定です。
私達はマルチタスクモデルを設計しました。これは、タスク毎の個別コンポーネントとそれを統合する統合エンコーダーで構成されます。タスク毎にコンポーネントがあるので、タスク固有のトレーニングデータを使用できます、