Pixel 4とPixel 4aのLive HDR+とデュアル露出コントロール(2/2)

１．Pixel 4とPixel 4aのLive HDR+とデュアル露出コントロール(2/2)まとめ

・多くの写真家は画像を明るくしたり暗くしたりする露出補正スライダーに慣れている
・HDR+はハイライトとシャドーを個別に制御できるため２つの露出コントロールが必要
・デュアル露出コントロールは同じ被写体を劇的に異なる作品として撮影する柔軟性を提供

２．デュアル露出コントロールとは？

以下、ai.googleblog.comより「Live HDR+ and Dual Exposure Controls on Pixel 4 and 4a」の意訳です。元記事の投稿は2020年8月3日、Pixel 4の廉価版であるPixel 4aが発表されたと同時に掲載された記事でJiawen ChenさんとSam Hasinoffさんによる投稿です。

アイキャッチ画像はのクレジットはPhoto by Sean Pierce on Unsplash

Live HDR+の局所的な曲線を使った近似
単一のトーン曲線を使用しても、画像全体に満足のいく結果が得られるわけではありませんが、小さな領域ではどうでしょうか。

下図の小さな赤枠部分について考えてみましょう。
赤枠部分にはシャドーとハイライトの両方が含まれていますが、入力と出力の明るさの関係は滑らかな曲線に従っています。更に、曲線は徐々に変化します。

青枠は赤枠部分を10画素分、右に移動したものです。画像内容と曲線の両方が似ています。
しかし、曲線の近似は小さな範囲ではうまく機能しますが、大きな範囲ではうまく機能しません。
大きな黄色の枠線部分の場合、入力と出力の関係はより複雑であり、単一の曲線で十分に近似する事ができません。

(a)入力データとHDR+処理の結果
(b)小さな領域(赤枠領域)に対するHDR +の効果は、ほぼ滑らかな曲線です。
(c)この関係は、近くの青枠領域でもほぼ同じです。
(d)ただし、領域が大きすぎると、単一の曲線では綺麗にフィットしなくなります。

この課題に対処するために、入力画像を上の図の赤枠領域とほぼ同じサイズの「タイル」に分割し、各タイルの曲線を使用してHDR+処理を概算します。

これらの曲線は徐々に変化するため、曲線同士を混合し、任意の画素に最適な曲線を近似するのは良い方法です。画素を表示させるために、4つの最も近いタイルのそれぞれから曲線を適用し、それぞれのタイルの中心までの距離に従って結果を混合します。

HDR+と比較すると、このアルゴリズムはGPU上の実行に特に適しています。各画素のトーンマッピングは独立して計算できるため、アルゴリズムを並列化することもできます。更に、この表現方法はメモリ効率も優れています。ビューファインダーのHDR+を局所的なトーンマッピング処理で代替するには、少数のタイルだけで十分です。

局所的な曲線を計算するために、HDRnetと呼ばれる機械学習アルゴリズムを使用します。これは、線形画像から、その画像のHDR+の外観に近似するタイル毎の曲線を予測するディープニューラルネットワークです。

このネットワークは、コンパクトなアーキテクチャと低解像度の入力画像を使用して高解像度のビューファインダーの曲線を予測できるため、高速でもあります。何千もの画像でHDRnetをトレーニングし、あらゆる種類の風景で確実に機能するようにしました。

極端な明るさと暗さが混在している難しい風景でHDRnetとHDR+を比較
ビューファインダーの解像度では結果は非常によく似ています。
Nicholas Wilsonによる写真提供

デュアル露出コントロール
HDR+は、手動制御や撮影後処理をせずに、快適にHDR画像を自動的に生成するように設計されています。

ただし、HDR+による合成結果が写真家の芸術的な意図と一致しない場合があります。
画像編集ツールによる修正で部分的には改善できますが、HDR+が行った一部の処理は最終的なJPG画像に効果的に組み込まれるため、HDR画像は後から編集する事が難しい場合があります。

編集の自由度を最大にするために、撮影毎に生画像(Raw image)を保存することができます。(アプリのオプション)ただし、このプロセスにより、写真家としての作業は一瞬で済みますが、生画像編集ツールと追加のストレージに関する専門知識が必要になります。

芸術的な意図を制御するもう1つのアプローチは、ビューファインダーにライブ画像を提供することです。多くの写真家は、画像を明るくしたり暗くしたりする露出補正スライダーに慣れています。

しかし、全体的な明るさだけでは、HDR+写真撮影時には十分な表現力がありません。ハイライトとシャドーを個別に制御するためには、少なくとも2つの制御スライダーが必要です。

これに対処するために、デュアル露出コントロールを導入します。ユーザーがLive HDR+ビューファインダーをタップすると、2つのスライダーが表示されます。「明るさ(Brightness)」スライダーは従来の露出補正と同様に機能し、全体的な露出を変更します。このスライダーを使用して、明るい空の詳細を回復したり、意図的に背景を吹き消して被写体をより見やすくしたりします。「影(Shadows)」スライダーは暗い領域にのみ影響します。露出ではなく、トーンマッピングを変更します。このスライダーは、コントラストの高いシーンで最も役立ち、ユーザーがシャドーを強調して細部を表示したり、シャドーを抑制してシルエットを作成したりする事ができます。

屋外のハイダイナミックレンジ状況下で動作中のデュアル露出コントロールとそれを使った撮影結果。個々の画像はphotos.google.comでご覧いただけます。写真はFlorian Kainzのご厚意により掲載。

以下は、デュアル露出コントロールを使用して実現できた劇的な演出効果の一部です。

デュアル露出コントロールを使用した様々な演出。個々の画像はphotos.google.comでご覧いただけます。写真提供者：Jiawen Chen、Florian Kainz、Alexander Schiffhauer

デュアル露出コントロールは、同じ被写体を劇的に異なる作品として撮影する柔軟性を提供します。これらの使用は撮影が難しいハイダイナミックレンジな風景に限定されていないので、様々な被写体や照明で実験する事を恐れないでください。これらのスライダーがあなたの撮影手法を激変させる事に驚くかもしれません！

謝辞
Live HDR+とデュアル露出コントロールは、Google Research、Android、ハードウェア、およびUXデザインチーム間のコラボレーションの成果です。主な貢献者：Francois Bleibel, Sean Callanan, Yulun Chang, Eric Chen, Michelle Chen, Kourosh Derakshan, Ryan Geiss, Zhijun He, Joy Hsu, Liz Koh, Marc Levoy, Chia-Kai Liang, Diane Liang, Timothy Lin, Gaurav Malik, Hossein Mohtasham, Nandini Mukherjee, Sushil Nath, Gabriel Nava, Karl Rasche, YiChang Shih, Daniel Solomon, Gary Sun, Kelly Tsai, Sung-fang Tsai, Ted Tsai, Ruben Velarde, Lida Wang, Tianfan Xue, Junlan Yang。