HDR+：Googleのカメラアプリで低照明や高ダイナミックレンジ下で撮影を可能にする技術

１．HDR+：Googleのカメラアプリで低照明や高ダイナミックレンジ下で撮影を可能にする技術まとめ

・HDR+はデジタルカメラで写真を連続高速撮影して一つに合成する技術
・従来のデジカメでは撮影が難しい低照明や明暗が激しいシーンの撮影が可能になる
・2018年発売のPixel 3ではHDR+が更に進化しズームや夜間撮影にも応用されている

２．HDR+とは？

以下、ai.googleblog.comより「HDR+: Low Light and High Dynamic Range photography in the Google Camera App」の意訳です。原文の初出は2014年10月27日なので4年前の投稿です。さすがにサンプル写真は2018年11月発売の最新のPixel 3のカメラと比較すると見劣りする事は否めませんが、HDR+技術の考え方そのものはPixel 3でもコア技術に使われており、主な差はソフトウェアがディープラーニングで進化した分です。

薄暗い場所でスマートフォンのカメラで撮影使用しようとした事がある人は誰もが知っていると思いますが、そのような場所で撮影した写真はしばしばぼやけているか、画像ノイズとして知られている画素が様々な場所でランダムに明滅しているような写真になってしまいます。

同じようにイライラするのは、非常に明るい太陽の下で撮影した家族写真など、明暗の差が非常に大きいシーンをスマートフォンで撮影した時です。このような明暗の差が激しい事をハイダイナミックレンジ(HDR)と言い、写真は白っぽくなっている露出過多の空(白飛びといいます)、またはシルエットになってしまった露出不足の家族(黒つぶれといいます)のいずれかの写真になります。

HDR+は、Nexus 5とNexus 6用のGoogleカメラアプリの機能で、写真にコンピュテーショナルフォトグラフィ(スマートフォン内で計算して高度な画像編集処理する事)を行い、これらの写真撮影が難しい状況でもより良い画像を撮影できるようにします。

シャッターボタンを押すと、HDR+は高速且つ連続に写真撮影(バースト撮影といいます)をし、それらをすぐに1つの画像に結合します。これにより、低照度および高ダイナミックレンジの両方の状況が改善されます。以下では、それぞれのケースについて掘り下げ、HDR +がより良い画像を生成する方法について説明します。

暗いシーンでの撮影
スマートフォンのカメラには小さなレンズが付いています。つまり、あまり光を集めません。写真を撮る場面が暗い場合、結果の写真には画像ノイズが含まれます。1つの解決策は、露光時間を長くすることであり、センサーチップが光をどれくらい長く集める事ができるかにかかっています。

これはノイズを減らしますが、手ぶれ、もしくは被写体の移動によりカメラを完全に安定した状態に保つのは難しいため、長時間の露出は写真がボヤけるという望ましくない副作用を伴います。光学式手ブレ補正機能(OIS)を備えたカメラなら、この「手ぶれ」を感知し、レンズを迅速にシフトさせて補正します。これにより、ぶれの少ない長時間の露出が可能になります。

HDR+は、短い露光時間の写真をバースト撮影し、連続撮影した写真をそれぞれの対応する画素がわかるように整列させ、各写真をその画素の平均色で置き換えることで、この問題を解決します。複数の写真を平均化する事でノイズが減少し、短い露光を使用するとボヤケが軽減されます。HDR+はまた、連続写真の中から一番シャープに取れている写真をベースにしてこの編集プロセスを開始します。天文学者はこれをラッキーイメージングと呼び、地球の煌めく大気に起因する天文写真のぼやけを減らすためこの技術を使用しています。

これは夕暮れに撮影された暗い写真の例です。左の画像はHDR+オフで撮影され、右の画像はHDR+で撮影されました。HDR +画像は、より明るく、きれいで、シャープで、モデルの髪の毛や睫毛もはるかにディティールを確認できます。Photos by Florian Kainz

ハイダイナミックレンジの写真を撮影する
スマートフォンカメラのもう1つの制限は、センサーが小さいことです。これは、カメラのダイナミックレンジを制限します。つまり、白飛びしない最も明るいハイライト（白に変わります）と黒つぶれしない最も暗い影の間の明るさのレンジを指します。
1つの解決策は、異なる露出時間(ブラケッティングと呼ばれる事があります)で撮影した連続画像を取り込み、個々の画像を整列させて編集する(アライメントと言います)ことです。残念なことに、ブラケッティングは、長時間露光画像の一部を吹き飛ばし、短時間露光画像の一部にノイズを生じさせます。これにより整列させた画像の編集が難しくなり、ゴースト、二重画像、その他の人工的な写り込みの原因にもなります。

ただし、ブラケティングは実際には必要ありません。写真ごとに同じ露光時間を使用することができます。短時間露出を使用することにより、ハイライトを吹き飛ばすことを防ぎ、十分な写真を組み合わせることにより、影のノイズを低減します。これにより、下の例に示すように、ソフトウェアは影の明るさを上げ、被写体と空の両方を白飛びから救う事ができます。すべての写真が似ているのでアライメントは堅牢です。他のHDRソフトウェアで見られるようなゴーストや２重の映り込みが、HDR+では表示されません。

古典的な高ダイナミックレンジの状況。
HDR+をオフ（左）にすると、カメラは被写体の顔の露出を優先させ、風景や空を吹き飛ばします。HDR+をオン（右）にすると、画像は正常に被写体、風景、空をキャプチャします。Photos by Ryan Geiss

私たちの最後の例は、ハイダイナミックレンジ、低照度、手ぶれの3つの問題をすべて示しています。HDR+をオフにして、Nexus 6で撮影したPrinceton University Chapelの写真（以下に示す）は、比較的長い1/12秒の露出で撮影されています。光学式手振れ補正は手ぶれを低減しますが、これはカメラを静止させるのには長い時間ですので、画像はわずかにぼやけています。シーンが非常に暗いので、長時間の露出にもかかわらず壁はノイズが発生します。そのため、強いノイズ除去が適用され、スミアリング(光源を中心に明るい帯状の線が発生する現象)が発生しています（以下、左下の画像）。最後に、風景内にも高いダイナミックレンジがあるため、ナーブ(一般信者席)の端にあるウィンドウが見えなくなり(右下の画像)、暗闇でサイドアーチが失われます。

HDR+モードは、以下の画像に示すように、3つの問題全てでより優れたパフォーマンスを発揮します。左側のシャンデリアはよりクリーンでシャープで、ウィンドウがはっきりと見えており、サイドアーチのディティールが確認できます。
バースト撮影内の最も鮮明な写真(ラッキーイメージング)が選択されて、それに対して、ソフトウェアが編集をするので、結果として得られる画像は鮮明です。

下部のリンクでは、これらの比較などを高解像度版含むアルバムで紹介します。アルバムの各シーンは、Nexus 6でキャプチャされた画像のペアがあります。最初のものはHDR+をオフにし、2番目のものをHDR+をオンにして撮影しました。

HDR +の使用に関するヒント
HDR+モードでバースト撮影をするには、被写体の明るさに応じて1/3秒から1秒が必要です。この間、画面上に円がアニメ表示されます(下の左の画像)。円が完成するまでホールドするようにしてください。ラッキーイメージングを結合するには時間もかかります。撮影直後にカメラロールをスクロールすると、サムネイル画像と進行状況バーが表示されます（下の右の画像）。

貴方はHDR+モードをオンのままにしますか？私たちはします。HDR+の写真は単一の写真よりも撮影に時間がかかるので動きの速いスポーツを撮影する際や、フラッシュが必要になる暗すぎるシーンの場合は、HDR+モードをオフにすることもできます。しかし、これらのスポーツシーンや超暗い場面を撮影するためにHDR+をオフにする前に、他の場面で試してみてください。あなたはHDR+の性能に驚くでしょう！

2014年10月27日時点ではHDR+はGoogleカメラアプリの一部としてNexus 5とNexus 6でのみご利用いただけます。