Photobooth：Pixel 3で最高の自撮りを自動で撮影する(2/2)

１．Photobooth：Pixel 3で最高の自撮りを自動で撮影する(2/2)まとめ

・表情検出モデルのスコアとキス検出モデルのスコアの両方からフレーム品質を計算
・機械学習アルゴリズムの判断指標をわかりやすくする知的インジケータを工夫
・インジケータは敢えて4段階にシンプルにしてスムーズな表示を実現している

２．Photoboothとは？

以下、 ai.googleblog.comより「Take Your Best Selfie Automatically, with Photobooth on Pixel 3」の意訳です。元記事は2019年4月16日、Navid ShieeさんとAseem Agarwalaさんによる投稿です。

シャッターのコントロール
Photoboothモードでシャッターボタンを押すと、前述のモデルが計算するコンテンツスコアに基づいて撮影したフレームの基本的な品質が評価されます。この最初の段階は、目を閉じている、話している、または手振れが発生している、またはモデルによって学習された表情、またはキス動作を検出できないフレームを捨て去るためのフィルタとして機能します。

Photoboothは時系列データとしてこの品質分析を行い、機械学習(ML)モデルの予測の一時的なブレで誤動作しないように耐久性を高めます。この初期検証に合格すると、各フレームはよりきめの細かい分析にかけられ、全体のフレームスコアが出力されます。

フレームスコアは、表情検出モデルのスコアとキス検出モデルのスコアの両方を考慮します。キス検出モデルはフレーム全体に作用するので、その出力はキスのためのフルフレームスコア値として直接使用することができます。

表情検出モデルは、識別された各表情についてスコアを出力します。各フレームには複数の顔が写っている可能性があるため、Photoboothは検出された表情をAttentionモデルに適用し、各顔について表情品質と重みを繰り返し計算します。重み付けは重要です。例えば、後方の顔でなく前方に写っている顔を優先させるために使われます。

次に、モデルはフレーム内の表情の品質について単一のグローバルスコアを計算します。シャッターを作動させる際に使われる最終的な画質スコアは、Attentionモデルを使って表情スコアとキススコアを重み付けし、その組み合わせによって計算されます。

シャッター制御アルゴリズムはフレームをバッファに短時間維持しており、新たに検出された画質スコアがバッファ内のそれよりも高い場合にバッファを入れ替えます。バッファの長さは、ユーザーにリアルタイムのフィードバックを提供できるように十分短く設定されています。

知的インジケータ
Photoboothは前面カメラを使用しているので、ユーザーは写真を撮りながらPixel3のディスプレイを見たり操作したりすることができます。

Photoboothには、視覚的なインジケータ、写真の品質スコアが上がると長くなるバーが画面上部に表示され、ユーザーが機械学習アルゴリズムが何を指標に判断して、いつ撮影するのか見ただけでわかりやすくなっています。

インジケータは4段階で表現されます。
（1）顔がはっきり見えない
（2）顔は見る事が出来るがカメラを意識していない
（3）カメラを意識しているが、シャッターチャンスに適切な表情ではない
（4）シャッターチャンスに適切な表情で且つカメラに注意を向けている

このインジケータをより解釈しやすくするために、バーが反応する段階は上記４つに固定しました。これにより、品質スコアが変化によりバーがあまりに早く伸縮するのを防止し、有用性が向上しました。フレームが高品質スコアを達成し、インジケータバーが最大長になると、画面が点滅して写真が自動撮影された事がわかります。

機械学習の出力をそのままインジケータに反映させるとバーの長さは急激に変化します（左）明示的に段階を指定すると滑らかな動きが作成されます（右）。

まとめ
私達はカメラ付き携帯電話での自動写真撮影の可能性に興奮しています。コンピュータビジョンテクノロジーが向上し続けるにつれて、将来的にはスマートカメラを信頼して撮影を任せる事が一般的になるかもしれません。Photoboothは、笑顔、愉快な顔、キス、自撮り(セリフィー）、グループセルフィーに関して、自動撮影を実現し、そして楽しくて便利なユーザ体験をお届けします。

謝辞
Photoboothは、Googleのいくつかのチームのコラボレーションでした。プロジェクトへの主な貢献者は以下の方を含みます。Kojo Acquah, Chris Breithaupt, Chun-Te Chu, Geoff Clark, Laura Culp, Aaron Donsbach, Relja Ivanovic, Pooja Jhunjhunwala, Xuhui Jia, Ting Liu, Arjun Narayanan, Eric Penner, Arushan Raj, Divya Tyam, Raviteja Vemulapalli, Julian Walker, Jun Xie, Li Zhang, Andrey Zhmoginov, Yukun Zhu.