Pixel2とPixel2 XLのポートレートモードに使われている技術(3/3)

１．Pixel2とPixel2 XLのポートレートモードに使われている技術(3/3)まとめ

・背面カメラでも前面カメラでもポートレートモードは可能
・背後にある技術の特性を知るとより良い写真が取れる
・被写体との距離を意識する事が大切

２．ポートレートモードを有効活用するためのヒント

以下、ai.googleblog.comより「Portrait mode on the Pixel 2 and Pixel 2 XL smartphones」の意訳です。元記事は2017年10月17日、Marc LevoyさんとYael Pritchさんによる投稿です。一年前なのでまだPixel3は発売されていない、Pixel2が最新機種であった頃です。中編はこちら。

ポートレートモードで綺麗に撮影するためには？
Pixel 2のポートレートモードは4秒以内に撮影が完了し、完全に自動(以前のGoogleが発売していたスマートフォンのレンズぼかしモードは、スマホを上下に揺らす特別な操作が必要でした)で、カメラに詳しくない人でも簡単に使えます。下部リンクには、いくつかの撮影が難しいケース、例えば、縮れ毛の人(髪の毛と背景の分別が難しい)、花束を持っている人(背景との判断がつきにくい)などのサンプル写真を確認する事ができます。以下は、新しいPixel 2でポートレートモードを使用するためのいくつかのヒントです。

マクロ撮影
あなたがポートレートモードで、人物(花や食べ物のような)の代わりに小さな被写体にカメラを向けると、ニューラルネットワークは人物を見つけることができず、有用なセグメンテーションマスクを生成できません。言い換えれば、私たちのポートレートモード作成手順のステップ2は適用されず、背景と前面をくっきり切り分ける事ができません。

幸いにも、ステップ3、つまりPDAFデータからの奥行きマップがありますので、深度マップのみに基づいて浅い被写界深度画像を計算することはできます。レンズの左側と右側は非常に近接しているので、これは被写体までの距離が1m未満のケースでのみうまく機能します。しかし、条件を満たしていれば素晴らしい写真を取る事ができます。

これは合成マクロモードとみなすことができます。以下は、マクロサイズの被写体に対するストレートモードとポートレートモードの比較例です。下部のリンクからはより撮影困難なケース(水流の背後に細いワイヤフェンスが存在する写真など)を確認する事ができます。被写体に近づきすぎないように注意してください。Pixel２は、カメラから約10cm程度の距離にある被写体に焦点を合わせる事はできません。

ポートレートモードなし（左）とポートレートモード（右）のマクロ画像。ここには人間が写っていないので、背景と前景は深度マップを使用してのみ識別されています。写真：Marc Levoy

自撮りカメラ
Pixel 2は、正面カメラ(自撮りカメラ)と背面カメラの両方でポートレートモードを提供します。自撮りカメラは12Mpixではなく8Mpixであり、PDAF用の機能を持たないため、左半分と右半分に分割する事ができません。

この場合、私たちのポートレートモード作成手順のステップ3は適用されませんが、顔を見つけることができれば、ニューラルネットワーク(ステップ2)を使用してセグメンテーションマスクを作成することができます。

これにより、ポートレートモードで撮影することができますが、被写体までの距離がわからないため、ぼかしの量を距離に基づいて変えることはできません。それにもかかわらず、ポートレートモードは非常に綺麗に見えます。自撮りの場合、背景をぼやかせる事によって被写体を目立たせる事ができるので特に効果が顕著です。Pixel 2のセルフカメラで撮影されたストレートモードとポートレートモードの例を以下に示します。

左：ポートレートモードなしの自撮り。右：ポートレートモードありの自撮り。正面カメラにはPDAFがないため、背景ピクセルは機械学習のみで識別されています。写真：Marc Levoy

ポートレートモードを最大限に活用する方法
Pixel 2によって撮影されるポートレイトは、基礎となるHDR +画像、セグメンテーションマスク、および深度マップの品質に依存します。これらの入力に問題があると、写真に人工物が写り込んでしまう可能性があります。たとえば、HDR +画像に白っぽく白飛びしてしまった部分が含まれている場合は、左半分の画像と右半分の画像に有用な情報が含まれている可能性は低く、深度マップにもエラーが発生します。

セグメンテーションでは何が問題になるでしょう？人工知能の実体は、人物が写った約100万の写真を使って訓練されたニューラルネットワークです。しかし、学習に使われた写真内にはワニにキスをしている人の写真はなかったでしょうから、もし、ワニにキスをしている人をPixel 2で撮影すると、人工知能はおそらくワニを背景と判断し、マスクからワニを省略し、その結果、ワニはぼやけてしまうでしょう。

奥行きマップではどうでしょうか？ステレオアルゴリズムは、特徴のない平面な壁や、一定のパターンを繰り返す模様がプリントされているシャツなどでは、左右の画像を間違った部分でマッチさせてしまい、誤った深度情報を作成してしまう可能性があります。

複雑な技術にはトレードオフがつきものですが、ここではポートレートモードショットを綺麗に撮影するためのヒントをいくつかご紹介しましょう。

・被写体の頭(または頭と肩)がフレーム内に収まるように十分に近い距離に立ちます。
・全員を鮮明に映したい集合写真の場合は、全員をカメラから同じ距離に配置します。
・より鮮やかなぼかしを行うには、被写体と背景の間にある程度の距離を置いてください
・サングラス、パタパタ羽ばたく帽子、巨大なスカーフ、ワニをフレーム内から取り除きます。
・マクロショットの場合は、注目する被写体が鮮明になるようにタップします。

ちなみに、ポートレートモードでは、カメラが少しズームしている事に気づいたでしょうか？（背面カメラの場合1.5倍、前面カメラの場合1.2倍）。これは意図的なものです。視野が狭いと、撮影者はより遠くから撮影しようとし、それは視点の歪みを減らす事に繋がり、それはより良いポートレート写真につながります。

一眼レフカメラの時代の終わり？
私たちがGoogleで5年前に仕事を始めたとき、携帯電話の写真の画素数は一眼レフカメラに追いついていませんでしたが、大半の人々のニーズは十分に満たしていました。家庭用コンピュータの大きな画面でも、携帯電話を使って撮った写真の個々の画素を確認できないほど画素数が多かったからです。それにもかかわらず、携帯電話のカメラは、以下の4つの点でSLRほど強力ではありませんでした。

(1)明るいシーンでのダイナミックレンジ（空を吹き飛ばしてしまう）
(2)低照度でのSNR(信号対雑音比) (ノイズが多く、詳細の損失)
(3)ズーム(特に野生動物の撮影)
(4)Shallow depth of field(浅い被写界深度)

GoogleのHDR+や競合他社の同等技術は、(1)と(2)において大きな進歩を遂げました。実際、難しい照明では、一眼レフカメラで撮影後に必要になる苦痛を伴うブラケットや後処理をせずに、スマートフォンからより良い画像を得ることができるため、一眼レフカメラではなくスマートフォンで撮影することがよくあります。

ズーム機能では、いくつかのスマートフォンは控えめな望遠レンズ(普通は2倍)を追加できますが、河川敷にいる獰猛な灰色熊を撮影するためにはSLRの400mm望遠レンズの代わりにはなりません(より安全です！)。浅い被写界深度では、合成による焦点ぼかしは実際の光学ぼかしと同じではありませんが、視覚効果は同じ効果を達成するのに十分であり、被写体に集中する事ができます。

大きなセンサーと大きなレンズを備えた一眼レフカメラ(またはそのいとこのMIL)は消えてなくなるのでしょうか？消えてしまう事はないでしょうが、一眼レフカメラはより小さなニッチ市場向け製品となるでしょう。私たちは旅行の際に大きな一眼レフカメラとPixel 2を持っていきます。旅行の初めの頃は、私たちは一眼レフカメラを使って写真を撮りまくりますが、結局のところ、旅行の後半には一眼レフカメラをバッグの中に入れ、Pixel 2を使って気軽に写真を撮っています。ソフトウェア定義によるカメラとコンピューショナルフォトグラフィーがもたらす新しい世界へようこそ！

Pixel 2のポートレートモードの詳細については、Nat＆Friendsのビデオをご覧ください。関連リンクには、Pixel 2で撮影した写真集へのリンクがあります。

(Pixel2とPixel2 XLのポートレートモードに使われている技術(2/3)からの続きです)