Photobooth：Pixel 3で最高の自撮りを自動で撮影する(1/2)

１．Photobooth：Pixel 3で最高の自撮りを自動で撮影する(1/2)まとめ

・Pixel3搭載カメラアプリPhotoboothを使うと最適な集合写真を自撮りできる
・被写体全員が笑顔でカメラを見ている瞬間やキスの瞬間を自動撮影
・表情の検出とキスの検出による最適なシャッターチャンスを認識

２．Photoboothとは？

グループ写真を綺麗に自撮りするのは難しいかもしれません。シャッターの上に指を置いて、みんなの顔をフレーム内に保ち、カメラを見て、良い表情をし、カメラを揺らさないようにし、最後にシャッターを押したときに誰も瞬きをしていないようにしましょう！

Google Clipsで自動写真撮影技術を培った後、私たちは自問自答しました。この自動写真の魔法の一部をPixelスマートフォンに持ち込むことはできないでしょうか？

Pixel3搭載のカメラアプリの新しいシャッターフリーモード(自動撮影モード)であるPhotoboothを使用すると、自分自身 、カップル、さらにはグループ、 の写真撮影するのが簡単になり、最高のシャッターチャンスを自分を捉えることができます。Photoboothモードを起動してシャッターボタンを押すと、カメラが手振れしていない時に自動的に写真が撮影され、被写体が目を開いた状態で良い表情をしている写真が取れる事がわかります。

Pixel搭載カメラの最新リリースでは、Photoboothにキス検出機能を追加しました。最愛の人にキスすると、カメラは自動的にそれを撮影します。

Photoboothは、最高の写真を撮ることを可能にするエキサイティングなPixel搭載カメラの機能の一つで、トップショットとポートレートモードに並び立つ機能です。しかし、ポートレートモードが背面カメラに搭載された専用ハードウェアを利用して最も綺麗に撮影できるのと異なり、Photoboothは前面カメラ用に最適化されています。

Photoboothを開発する際には、3つの課題を解決する必要がありました。
・幅広い想定ユーザために適切な状況を特定する方法
・最高のシャッターチャンスを捉える方法
・撮影画面を見ただけで何が行われているか理解できるようにするアニメション

良い被写体を理解するモデル
Photoboothを開発する際の主な課題は、「被写体全員がカメラを見ている典型的な集合写真」、または「必ずしも被写体がカメラを向いていないキスをしている人物を含む写真」、のどちらが求められているのかを判断することでした。

これを実現するために、Photoboothは2つの異なるモデルを使用して、優れた自撮りを実現しています。顔の表情を捉えるモデルと、人々がキスをしている事を検出するモデルです。

私たちは写真家と協力して、撮影のきっかけと判断される5つの重要な表情を見つけました。笑顔、舌を出している顔、唇を突き出している/アヒル口、ふくらんでいる頬、そして驚きです。次に、これらの表現を分類するためにニューラルネットワークを訓練しました。

Photoboothで使用されているキス検出モデルはGoogle Clipsのために訓練されたICM(Image Content Model)の変形で、特にキス検出に集中するように微調整されています。

どちらのモデルもモバイルネットを使用して、高いフレームレートで画像を連続的に処理しながら、デバイス上で効率的に動作します。 モデルの出力は、シャッター制御アルゴリズムの各フレームの品質を評価するために使用されます。

３．Photobooth：Pixel 3で最高の自撮りを自動で撮影する(1/2)関連リンク

１）ai.googleblog.com
Take Your Best Selfie Automatically, with Photobooth on Pixel 3