Pixel 4とPixel 4aのLive HDR+とデュアル露出コントロール(1/2)

１．Pixel 4とPixel 4aのLive HDR+とデュアル露出コントロール(1/2)まとめ

・Pixelスマートフォンでハイダイナミックレンジ撮影を実現している技術はHDR+
・HDR+はリアルタイムで処理するには重すぎたのでビューファインダーでは観れなかった
・Pixel 4と4aではLive HDR+によりHDR+の近似値を算出してビューファインダー表示可能

２．Live HDR+とは？

以下、ai.googleblog.comより「Live HDR+ and Dual Exposure Controls on Pixel 4 and 4a」の意訳です。元記事の投稿は2020年8月3日、Pixel 4の廉価版であるPixel 4aが発表されたと同時に掲載された記事でJiawen ChenさんとSam Hasinoffさんによる投稿です。

アイキャッチ画像はPixelのNight Sightで撮影した画像に見えるかもしれませんが、Canon EOS 5D Mark IVと言う本体だけで30万円以上はする一眼レフカメラで撮影した写真です。本ページに掲載されているPixel 4, 4aで撮影された写真と比べてみればPixel 4, 4aのカメラとしての実力が感じ取れると思います。

しかしながら時代は5Gなのか、Pixel 4, 4XLは在庫限りで販売終了らしく、Google Pixel 5 と Google Pixel 4a(5G)の販売が60,500円からと日本の公式サイトで既に販売予告されています。

クレジットはPhoto by Sean Pierce on Unsplash

ハイダイナミックレンジ(HDR:High Dynamic Range)撮影とは、非常に暗い箇所から非常に明るい箇所まで、幅広い範囲の明るさが含まれている風景を撮影する事です。(訳注：ハイダイナミックレンジ下で普通に撮影しようとすると、白飛びや黒つぶれが起こります)

Pixelスマートフォンで、HDR撮影を実現している背後にある技術はHDR+バーストテクノロジーです。これは、意図的に露光不足にした画像を瞬間的に連続撮影し、それらを組み合わせて、風景全体の明るさと細部を表現する手法です。

最近まで、HDR+の課題の1つは、リアルタイム(つまり、毎秒30フレーム)で計算できず、ビューファインダーで見ていた場面と最終的な出力画像が一致しない事でした。例えば、ビューファインダー内の明るい白い空は、HDR+処理の結果、青く見えることがあります。

Pixel 4とPixel 4aでは、機械学習ベースの技術でHDR+の近似値を算出してビューファインダーに表示させる事でこれを改善しました。これをライブHDR+(Live HDR+)と呼びます。これにより、最終出力結果のリアルタイムプレビューが提供され、HDR画像がビューファインダー内で予測可能になります。

また、デュアル露出コントロール(dual exposure controls)も搭載しました。従来の「クラッシックな露出補正」は1つのスライダーを使って露出調整をしていましたが、デュアル露出コントロールでは、シャドーとハイライトを2つの別々のコントロールで制御できるようになります。

ライブHDR+とデュアル露出コントロールを組み合わせると、HDR撮影をリアルタイムに創造的に制御できるようになります。

Pixel 4および4aのLive HDR+により、ユーザーは最終結果に非常によく似たWYSIWYG(What You See Is What You Get.見たままのものを入手可能な事)なビューファインダーで撮影シーンを構成できます。その他の写真はphotos.google.comでご覧いただけます。写真はFlorian Kainzのご厚意により掲載。

HDR+の見た目
ユーザーがPixelカメラアプリでシャッターを押すと、露光不足の画像が3～15枚程度連続撮影されます。これらの画像は、シャドーのノイズを減らすために整列および併合され、風景の明るさに比例する画素値を持つ14ビットの中間「線形RGB画像」を生成します。HDR+ 画像に特徴的な外観を与えるのは、この画像を「トーンマッピング(tone mapping)」する事であり、これはつまり明るさの範囲を画面表示に適した8ビットに減らします。

以下のオートバイ乗りの逆光写真を考えてみましょう。線形RGB画像には、暗いオートバイと明るい空の両方の細部が含まれていますが、ダイナミックレンジが広すぎるので表示できません。細部を明らかにする最も簡単な方法は、「グローバルカーブ(global curve)」を適用して、全ての画素値を特定の明るさに再割り当てすることです。

ただし、シャドーとハイライトの両方に細部を持つHDRシーンの場合、単一の曲線では満足いく結果にはなりません。

線形RGB画像をトーンマッピングする様々な手法
(a)元の「トーンマップしていない」画像
(b)明るい空の部分にに最適化したグローバルカーブ
(c)暗いオートバイに最適化したグローバルカーブ
(d)HDR +。あらゆる場所の細部を表示できています。
二次元ヒストグラム図の明るい領域は、「特定の入力輝度を持つ多くの画素」が同じ場所に割り当てられる事を示します。重なり合っている箇所は、両者の関係が単一の曲線でモデル化できないことを示しています。Nicholas Wilsonの提供写真

単一の曲線を使って割り当てる手法とは対照的に、HDR+は局所的なトーンマッピングアルゴリズムを使用して、先端部分や質感を自然に見せながら、最終的な出力であらゆる場所の細部が描かれるようにします。

効果的であり、これは全体的な明るさ、局所的な質感、ノイズの量などの要素に応じて、異なる領域に異なる曲線が適用しています。残念ながら、HDR+はビューファインダーで確認する用途、つまりリアルタイムで表示する用途には時間がかかりすぎる処理であるため、Live HDR+を使った代替アプローチが必要になります。