Portrait Light：機械学習を使ってポートレートモードの照明を強化(1/2)

１．Portrait Light：機械学習を使ってポートレートモードの照明を強化(1/2)まとめ

・ポートレート写真撮影時にプロはカメラから離した位置で照明器具を使用している
・これをシミュレートするためPixelカメラ及びGoogleフォトアプリにPortrait Lightを追加
・Portrait Lightはポートレートモードで撮影した写真にスタジオ品質の見た目を実現

２．Pixelのポートレートライト機能とは？

以下、ai.googleblog.comより「Portrait Light: Enhancing Portrait Lighting with Machine Learning」の意訳です。元記事の投稿は2020年12月11日、Yun-Ta TsaiさんとRohit Pandeyさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Jackson David on Unsplash

ポートレート写真を撮影するプロの写真家は、カメラから離した位置のフラッシュやリフレクターなどの特殊な機器と、被写体に適切な照明を判断する専門知識を用いて魅力的な写真を作成できます。

ユーザーがプロ並みのポートレートをより適切に真似る事ができるようにするために、最近、ポートレートにシミュレートされた指向性光源を追加するPixel搭載カメラ及びGoogleフォトアプリの新しい撮影後機能であるPortrait Lightをリリースしました。Portrait Lightは元の写真の照明を補完するように方向性と強度が設定されています。

Portrait Lightを適用した場合と適用していない場合の画像の例
Portrait Lightがどのように顔の輪郭を描き、奥行き、質感、視覚的効果を追加しているかに注目してください。

Pixel 4、Pixel 4a、Pixel 4a(5G)、Pixel 5のPixelカメラでは、デフォルトモードの画像と、人物を含むNight Sight写真(1人だけ、または少人数のグループでも可)に、Portrait Lightが自動的に撮影後に適用されます。

ポートレートモードの写真では、Portrait Lightは、既に適用されている浅い被写界深度効果に加えて、よりドラマチックな照明を提供し、スタジオ品質の見た目を実現します。しかし、照明は個人の好みで選べるので、ポートレートモードで撮影したPixelユーザーは、Google フォト内で適用された照明の明るさを好みに合わせて手動で再配置したり、調整したりすることができます。Pixel 2以降でGoogle フォトをお使いの方は、この再ライティング機能は、既存のポートレート写真の多くにも利用できます。

Pixelユーザーは、撮影後に、Googleフォトで好きなようにポートレートの照明を調整できます。

本日は、Portrait Lightの背後にあるテクノロジーを紹介します。ポートレート写真家が使用するカメラから離した照明器具に触発されたPortrait Lightは、撮影風景内に追加できる再配置可能な光源をモデル化し、初期の照明方向と強度を自動的に選択して、写真の既存の照明を補完します。

これは、新しい機械学習モデルを活用することで実現しました。各モデルは、ライトステージ計算照明システム(Light Stage computational illumination system、後述)で撮影された写真の多様なデータセットを使用してトレーニングされています。これらのモデルにより、2つの新しいアルゴリズム機能が有効になりました。

(1)自動で指向性照明を配置
特定のポートレートに対して、アルゴリズムは、写真家がカメラ外の光源を現実の世界に配置する方法と一致する合成指向性ライトを撮影風景内に配置できます。

(2)撮影後に照明効果を再合成
与えられたポートレート写真と照明方向を使って、リアルで自然に見える合成の照明が追加できます。

これらの革新により、Portrait Lightは、すべてのポートレートに対していつでも魅力的な照明を作成するのに役立ちます。そして、これら全てをスマートフォン上で実現しています。

自動で照明を配置
写真家は通常、カメラから離した光源で環境照明を増強する方法を決定する際に、知覚的な手がかりに依存します。彼らは、顔に当たる光の強度と方向性を評価し、それを補完するように被写体の頭のポーズを調整します。Portrait Lightの自動証明配置にこれらの情報を知らせるために、2つの知覚信号に相当する計算を開発しました。

まず、高ダイナミックレンジを推定するための新しい機械学習モデルをトレーニングしました。これは、入力ポートレート写真に基づいて撮影風景内の全方向照明プロファイルを取得します。

この新しい照明推定モデルは、顔を手がかり(Light Probe)として、全ての方向から来る撮影風景内の全ての光源の方向、相対強度、および色を推測します。また、MediaPipe Face Meshを使用して、ポートレートの被写体の頭のポーズを推定します。