Top Shot:Google Pixel 3でベストショットを自動で撮影してくれる機能(2/2)

１．Top Shot:Google Pixel 3でベストショットを自動で撮影してくれる機能(2/2)

・フレームスコアリングは顔のスコア以外にも３つの指標を見てスコア付けされる
・最も良いフレームであるか否かの評価基準は、ボランティアによって集まったデータを用いて判断
・性別、年齢、民族などのグループ間で違う結果がでないように公平性も考慮されている

２．Top Shotの動作原理

以下、ai.googleblog.comより「Top Shot on Pixel 3」の意訳です。元記事の投稿は2018年12月20日、Li ZhangさんとWei (Alex) Hongさんによる投稿です。前半はこちら。

フレームスコアリングモデル
Top Shotは顔の分析を優先しますが、顔がメインの被写体ではないケースもあります。このようなケースを処理するために、全体的なフレームの品質スコアに次のスコアを追加します。

１）被写体の動きの顕著性スコア
現在のフレームと前のフレームの間の低解像度のオプティカルフローは、連続するシーン内に顕著な被写体の動きがあるかどうかを判断するためにISP(Image Signal Processor)で推定されます。

２）グローバルモーションブラースコア
カメラの動きと露光時間から推定されます。カメラの動きは、ジャイロスコープとOIS(光学式手振れ補正装置)のセンサーデータから計算されます。

３）3Aスコア
自動露出(Auto exposure)、オートフォーカス(Auto focus)、およびオートホワイトバランス(Auto white balance)のステータスも考慮されます。

製品品質を最大化するために、上記のスコアも利用して、人間の評価者の好みに一致するようなスコア付けをするモデルをトレーニングします。

エンドツーエンドの品質と公平性
上記の各スコア付けのほとんどは、それぞれ独立して精度を評価されます。しかしながら、Top Shotは、Pixel搭載カメラでリアルタイムで実行されるため、その実現は非常に困難です。更に、これらすべての信号をシステム内で組み合わせて、好ましい結果が得られるようにする必要がありました。つまり、ユーザーが最も良いシーンと認識したシーンと人工知能が最も良いと判断したシーンを照らし合わせて人工知能を学習させる必要があるのです。

これを実現するために、何百人ものボランティアからデータを収集し、どのフレーム(最大90まで)が最も良く見えたかについての意見をまとめました。この寄付されたデータセットは多くの典型的な使用場面を網羅しています。ポートレート、自分撮り、アクション、風景など。

Top Shotが提供する3秒のクリップの多くは複数の良い瞬間が含まれていたので、これを処理するために私達が品質評価基準を設計することは重要でした。私達は伝統的な適合率と再現率を少し修正したもの、いくつかの古典的なランキング評価基準(平均逆順位など)、そしてTop Shotタスクのために特別に設計された他のいくつかを使用しました。

これらの評価基準に加えて、開発中に発生した画質の問題の原因をさらに調査した結果、ぼやけの回避、複数の顔の処理の向上などが改善されました。これにより、私たちはモデルを、人々が非常に高評価しそうな画像を選択するように方向付ける事ができました。重要な事は、私達の製品が非常に広範囲のユーザーに一貫した体験を提供できる事を確かめるために、私達はTop Shoシステムの公平性をテストしました。Top Shotで使用されている各信号の正確性を複数の異なるサブグループの人々(性別、年齢、民族などに基づいて細かいグループに分けて)で評価し、それらのサブグループで各信号に偏りがなく正確である事をテストしました。

結論
Top Shotは、Googleが最適化されたハードウェアと最先端の機械学習を活用して便利なツールとサービスを提供する事例のほんの一例です。この機能が貴方のお役に立つことを願っています。スマートフォンの写真撮影機能を将来的に更に向上させることをお約束します。

謝辞
この記事は、Googleのエンジニア、リサーチサイエンティスト、その他以下の皆さんを含む多数のグループの仕事を反映しています。Ari Gilder, Aseem Agarwala, Brendan Jou, David Karam, Eric Penner, Farooq Ahmad, Henri Astre, Hillary Strickland, Marius Renn, Matt Bridges, Maxwell Collins, Navid Shiee, Ryan Gordon, Sarah Clinckemaillie, Shu Zhang, Vivek Kesarwani, Xuhui Jia, Yukun Zhu, Yuzo Watanabe そして Chris Breithaupt.

(Top Shot:Google Pixel 3でベストショットを自動で選択してくれる機能(1/2)からの続きです）