Google Pixel 4とPixel 4 XLでのポートレートモードの改良(3/3)

１．Google Pixel 4とPixel 4 XLでのポートレートモードの改良(3/3)まとめ

・一眼レフカメラで撮影すると高コントラストなディスク状のボケを生成可能
・以前のPixel 3のポートレートモードでは背景をディスク状にぼかすのは困難であった
・新しいPixel 4のポートレートモードのボケは一眼レフで撮影したボケにより近くなっている

２．一眼レフに迫るボケ

以下、ai.googleblog.comより「Improvements to Portrait Mode on the Google Pixel 4 and Pixel 4 XL」の意訳です。元記事の投稿は2019年12月16日、Neal WadhwaさんとYinda Zhangさんによる投稿です。

一眼レフカメラのようなボケ(Bokeh)
写真家達は、背景をどのようにぼやけさせるかや、被写界深度の浅いボケの外観はどのような形が望ましいかを議論する事に夢中です。高品質の一眼レフのボケについて最も注目すべきことの1つは、焦点が外れると背景の小さなハイライトが明るいディスク形状に変わることです。焦点が外れると、これらのハイライトの光はディスク上に広がります。ただし、元のハイライトが非常に明るいため、光がディスクに広がっても、ディスクは一眼レフの色調の明るい範囲に留まります。

左：一眼レフは高コントラストのディスク状のボケを生成します。
中：以前のポートレートモードでは背景をディスク状にぼかすのは困難でした。
右：新しいポートレートモードのボケは、一眼レフで撮影したボケにより近いです。

このボケ効果を再現するために、元の画像の各ピクセルを、半透明のディスク形状に置き換えました。ディスクのサイズは深度に基づいて設定されます。

従来のポートレートモードでは、このぼかしプロセスはトーンマッピングの後に実行されていました。トーンマッピングとは、センサーから得た生データをスマートフォン画面で表示可能な画像に変換するプロセスです。

トーンマッピングでは、生データのダイナミックレンジ(訳注：カメラが扱える明るさの範囲)を圧縮し、暗い部分を明るくする処理が行われます。残念ながら、これにより、撮影風景内に実際に明るい被写体がどの程度あったかに関する情報が失われてしまいます。

そのため、高コントラストな(明暗の差が大きな)風景ではディスク状のボケを作成することが難しくなります。ボケは背景に溶け込んでしまい、一眼レフのものほど自然に見えなくなってしまうのです。

この問題の解決策は、HDR+による生画像(連続写真を一枚に合成して生成される画像)をぼかし、その後にトーンマッピングを適用する事です。より明るく明確なディスク状ボケに加えて、背景部分のボケも前景部分のボケと同じように馴染みます。

photos.google.com(SLR-Like Bokeh on Pixel Phones)により良いボケを紹介するアルバムがあります。これは、Pixel 4およびPixel 3および3aの背面カメラで使用できます(Googleカメラアプリをバージョン7.2にアップグレードする事が必要です)。

トーンマッピングの前にぼかしをかけると、背景の彩度が上がり、ディスクのコントラストが高くなり、その結果、背景の見た目が向上します。

自分で試してみましょう！
深度の品質を改善し、最終画像のエラーを減らし、ぼやけた背景の外観を改善することにより、Pixel 4のポートレートモードを改善しました。デュアルカメラとデュアルピクセルからの深度は、カメラが被写体から少なくとも20 cm離れている場合、つまり、二次望遠カメラの最小焦点距離でのみ有効になります。そのため、より良い品質のポートレートショットを得るには、少なくとも被写体からスマートフォンを遠ざけて撮影する事を検討してください。

謝辞
この作品は、Rahul Garg、Sergio Orts Escolano、Sean Fanello、Christian Haene、Shahram Izadi、David Jacobs、Alexander Schiffhauer、Yael Pritch Knaan、Marc Levoyがいなければ不可能でした。また、これらのアルゴリズムをPixel 4に統合するのを手伝ってくれたGoogleカメラチームにも感謝します。写真家のマイクミルン、アンディラディン、アランザールダルマ、アルビンリーにも感謝します。