Pixel 4のNight Sightで撮影した天体写真(2/3)

１．Pixel 4のNight Sightで撮影した天体写真(2/3)まとめ

・露出時間を長くする事で暗闇で星空を撮影できるが綺麗な写真にするためには更に工夫が必要であった
・長時間露出すると暗電流の影響で明るい点が出現してしまうが、近隣画素から得た平均値で置き換えて対処した
・更にポストシャッターオートフォーカスにより暗闇でもオートフォーカスを実現した

２．暗闇でオートフォーカスを実現

以下、ai.googleblog.comより「Astrophotography with Night Sight on Pixel Phones」の意訳です。元記事は2019年11月26日、Florian KainzさんとKiran Murthyさんによる投稿です。

1枚の写真を合成する際に使われるフレームの数は総露光時間に繋がります。これは技術的な観点からも制限を受けますが、写真家の忍耐力によってより厳しく制約を受ける事がわかりました。すなわち、写真を取るために4分以上待機できる人はほとんどいないため、1つのNight Sight写真に合成するフレームの数を最大15フレームに制限し、1フレームあたり最大16秒と設定しました。

16秒の露出により、暗闇でも識別可能な画像を生成するために十分な光を取り込むことができます。しかし、見栄えの良い写真をカメラアプリで撮影可能にするためには、更に低照度写真撮影時に特有の追加の問題に対処する必要があります。

暗電流とホットピクセル
暗電流(訳注：本来は光を当てた時だけ電流が流れるはずなのに、欠陥などによって光を当てないでも流れてしまう電流をDark Current、日本語で暗電流と言います)により、CMOSイメージセンサーは、実際には光が存在しない場合でも、少量の光にさらされているかのように、間違って信号を記録してしまいます。

露出時間が短い場合、この影響は無視できますが、数秒間露出する場合では大きな問題になります。センサーのシリコン基板に欠陥が生じる事は製造工程上避けられないため、一部の画素(ピクセル)は隣接ピクセルよりも高い暗電流を示します。最終的に撮影された写真では、これらの「ウォームピクセル」と不完全な「ホットピクセル」が、小さな明るい点として見えてしまいます。

「ウォームピクセル」と「ホットピクセル」は、一つに写真に合成される多数のフレームから隣接するピクセルの値を比較し、外れ値を探すことで識別できます。外れ値が検出されると、その値をその近隣画素から得た平均値で置き換えることで隠ぺいする事ができます。元のピクセル値が破棄されるため、画像情報が失われますが、実際にはこれは画質に著しく影響しません。

左：ホットピクセルと暗電流の不均一性に起因するウォームピクセルを含む長時間露光画像
右：外れ値を削除した後の同じ画像。わずかな光の点も再現されており、風景全体の細部が保持されています。

風景の合成
スマートフォン搭載カメラではスマホ画面を写真撮影用のファインダーとしても使用します。複数のフレームを１つの写真に合成するため、カメラは、画面に表示されているフレームをしばらく保持します。フレームは、カメラのオートフォーカス、自動露出、およびオートホワイトバランスなどでも使用されます。

撮影者の動きに機敏に反映するため、ファインダーは毎秒少なくとも15回更新され、その結果、ファインダーに写るフレームの露出時間は66ミリ秒に制限されます。この仕様により、暗い環境で詳細な画像をファインダーに表示するのが難しくなります。満月程度の光では、ファインダーはほとんど灰色になってしまいます。いくつかの明るい星は表示できるかもしれませんが、風景は表示されません。これでは夜間撮影は困難です。

非常に暗い場所で撮影風景を確定する事を支援するために、Night Sightは「シャッター後ビューファインダー(post-shutter viewfinder)」機能を搭載しています。シャッターボタンが押された後、各長時間露光フレームが、撮影後にすぐに画面に表示されるようになります。

最大16秒の露光時間で、これらのフレームは通常のビューファインダーフレームのほぼ250倍の光量を集めているため、撮影者は最初の長時間露光フレームが撮影されるとすぐにファインダー内の風景の詳細を簡単に見ることができます。その後、露出を続けながら携帯電話を動かして構図を調整できます。望んだ撮影ポイントが決定できたら、最初のショットを停止し、全てのフレームが希望の撮影ポイントを指し示すようにして2番目のショットを撮影できます。

左：非常に暗い屋外環境でのNight Sightのファインダー。遠くの建物からの数点の光を除き、風景と空はほとんど見えません。
右：長時間露光撮影中のシャッター後のファインダー。画像は鮮明です。長時間露光フレームごとに更新されます。

オートフォーカス
オートフォーカスは、カメラで撮影された画像が鮮明になる事を請け負います。

通常の写真撮影時には、ファインダーから取り込んでいるフレームを分析して、センサーからどれだけ離れているのか、レンズのピントを合わせる必要があるのかを判断します。しかし、非常に暗い場所では、ファインダーのフレームが非常に暗くなり、画像の詳細が検出可能できないため、オートフォーカスが失敗します。

この状態になると、Pixel 4のNight Sightは「ポストシャッターオートフォーカス」に切り替わります。ユーザーがシャッターボタンを押すと、カメラは、最大1秒の露出時間で2つのオートフォーカス用のフレームを取り込みます。これは、暗い場所でも画像の詳細を検出するのに十分な光を取り込める長さです。これらのオートフォーカス用フレームは、レンズの焦点を合わせるためにのみ使用され、最終的に撮影する写真には直接反映されません。

オートフォーカスに長時間露光フレームを使用すると、人間の視覚システムが被写体を明確に識別できないほど暗い場面でも一貫した鮮明な画像が得られますが、シャッター後のオートフォーカスでも暗すぎることがあります。

この場合、カメラは代わりに無限遠に焦点を合わせます。更に、Night Sightには手動フォーカスボタンが含まれており、ユーザーは非常に暗い条件で近くのオブジェクトに焦点を合わせる事もできます。