１．Pixel5, 4a(5G)のHDR+をブラケット撮影で改良(1/2)まとめ
・HDR+はハイライト部の詳細が失われるのを防ぐが影の部分にノイズが乗ってしまう
・プロ写真家は、2つの異なる露出設定で撮影(ブラケット撮影)を行いこれに対処している
・HDR+でブラケット撮影が可能になり影の画質が向上し、より自然な色とノイズの低減を実現
２．ブラケット撮影とは？
以下、ai.googleblog.comより「HDR+ with Bracketing on Pixel Phones」の意訳です。元記事の投稿は2021年4月23日、Manfred ErnstさんとBartlomiej Wronskiさんによる投稿です。
Bracket(ブラケット)はIT用語では中カッコ{}ですが、カメラ用語のBracketing(ブラケット撮影)は、異なるカメラ設定を使用して同じ被写体を複数枚撮影する事だそうです。その他にも建築用語では腕木(建物などから横に突き出して、他の部分を支える木)、歯科用語では矯正で歯に装着する装置などなど、大変広い意味を持つ単語でイメージしにくいですね、ってことで歯に装着する装置の方のアイキャッチ画像のクレジットはPhoto by Diana Polekhina on Unsplash
私達はPixelをより有用で、より有能で、より楽しいものにしようと改善に継続的に取り組んでいます。例えば、カメラアプリの最近のV8.2アップデートなど、定期的なアップデートなどがあります。
そのような改善の1つ(10月にPixel5とPixel4a 5Gでリリース)は、「内部」で動作する機能、ブラケット撮影可能なHDR +です。この機能は、異なる露出時間で撮影された画像を一つに併合して画質(特に影)を改善することで機能し、より自然な色、改善されたディテールとテクスチャ、およびノイズの低減をもたらします。
HDR技術を使って風景を綺麗に撮影するのが難しいのはなぜですか？
オリジナルのHDR +バースト写真システムは、高品質のモバイル写真を実現するために背後にある技術であり、意図的に露出不足の一連の画像をすばやく撮影し、トーンの範囲全体でディテールを保持できるようにそれらを組み合わせてレンダリングします。ただし、このシステムには1つの制限がありました。撮影されたすべての画像が露出不足であるため、以下のような高ダイナミックレンジ(HDR:High Dynamic Range)の風景では影の中にノイズが多くなります。
HDR+(赤枠)とブラケット撮影をしたHDR+(緑枠)の比較写真
HDR+で撮影した写真と見た目は同じままですが、ブラケット撮影を使用すると、特に影の画質が向上し、より自然な色、細部とテクスチャの向上、ノイズの低減が実現します。
限られた信号しか提供しない影の部分とイメージセンサーの物理的制約が組み合わされると、HDRで風景を綺麗に撮影することは困難です。影の部分または明るいハイライトの部分のいずれかを正しく描写させる事はできますが、両方を同時に描写することはできません。
同じシーンを異なる露出設定で撮影し、全体的な明るさを同じようにトーンマップした写真
左/上：ハイライト部を露出。真っ青な空は保たれていますが、影の部分はとてもザラザラしています。
右/下：影部を露出。影のザラザラ感は減少しますが、空は白く抜けてしまいます。
写真家は、2つの異なる露出設定で撮影を行い、それらを組み合わせることによって、上記の制限を回避することがあります。露出ブラケットとして知られるこのアプローチは、両方の長所を提供できますが、手作業で行うには時間がかかります。 また、以下の処理が必要になるため、計算写真でも困難です。
・ピクセル搭載カメラの高速で予想通りに撮影できる能力を維持しながら、追加で長時間露光フレームを撮影します。
・フレーム間のブレによって引き起こされるゴースト効果を回避しながら、長時間露光フレームを利用します。
これらの課題を回避するために、元のHDR+システムは、高ダイナミックレンジのシーンを処理するために異なるアプローチを使用していました。
HDR+の限界
HDR+で使用される撮影戦略は、露出不足の写真を利用する事に基づいており、ハイライト部の詳細が失われるのを防ぎます。この戦略は影の部分にノイズが乗ってしまう犠牲を伴いますが、HDR+は連続撮影写真(バースト写真)を使用して増加するノイズを相殺します。
連続撮影写真を使用して画質を向上
HDR+は、フル解像度のRAW画像の連続撮影から始まり、それぞれが同じ量だけ露出不足になります(左)。
条件に応じて、2～15枚の画像が整列され、計算用の生画像に併合されます(中央)。
併合された画像はノイズを減らし、ダイナミックレンジを拡大し、より高品質の最終結果をもたらします(右)。
このアプローチは、中程度のダイナミックレンジの風景ではうまく機能しますが、高ダイナミックレンジの風景ではうまくいきません。その理由を理解するには、2種類のノイズがどのように画像に入るのかを詳しく調べる必要があります。
バースト写真のノイズ
重要なタイプのノイズの1つは、ショットノイズと呼ばれます。
これは、撮影された光の合計量にのみ依存します。それぞれがE秒の露光時間を持つNフレームの合計には、N×E秒間露光された単一フレームと同じ量のショットノイズがあります。
これが撮影された画像に存在する唯一のタイプのノイズである場合、バースト写真はより長い露出を撮るのと同じくらい効率的です。残念ながら、2番目のタイプのノイズである読み取りノイズは、フレームが撮影されるたびにセンサーによってもたらされます。読み取りノイズは、撮影された光の量に依存しませんが、代わりに、撮影されたフレームの数に依存します。つまり、取得された各フレームで、固定量の読み取りノイズが追加されます。
３．Pixel5, 4a(5G)のHDR+をブラケット撮影で改良(1/2)関連リンク
１）ai.googleblog.com
HDR+ with Bracketing on Pixel Phones
２）photos.google.com
HDR+ with Bracketing
