Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する(1/3)

１．Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する(1/3)まとめ

・Night Sightは三世代全てのPixelシリーズに提供される暗い場面でも明るく撮影できる技術
・HDR+のような連続撮影技術を使わずにより暗い場所での撮影を可能にする事を目指した
・3ルクスから0.3ルクスの暗さをフラッシュを使わずにスマートフォンで克服する事を目指した

２．Night Sightが目指した目標

以下、ai.googleblog.comより「Night Sight: Seeing in the Dark on Pixel Phones」の意訳です。元記事は2018年11月14日、Marc LevoyさんとYael Pritchさんによる投稿です。続きはこちら

Night Sightは、Googleが販売しているスマートフォンであるPixelシリーズのカメラの新機能で、暗すぎて人間の目ではほとんど見えないような暗い場所でも非常にわずかな光で鮮明で綺麗な写真を撮ることができます。Pixelシリーズは今年のPixel 3で三代目ですが、PixelやPixel2用のソフトウェアアップデートも用意されます。背面カメラと自撮り用カメラで動作し、三脚やフラッシュは必要ありません。この記事では、低照度での撮影が難しい理由を説明し、HDR+テクノロジーをベースに構築されたcomputational photographyや機械学習のテクニックを用いて、Night Sightを実現した原理について解説します。

iPhone XSのカメラとPixel 3のカメラの比較

左：iPhone XSを使った撮影。右：Pixel 3のNight Sightモード

低照度下での撮影はなぜ難しいのでしょう？
薄暗い場所で写真撮影をした経験がある人は、画像にノイズが写り込む事に慣れているでしょう。ノイズにより写真は、画素単位で明るさランダムに変化するようにチラチラして見えます。レンズもセンサーを小さいスマートフォンカメラの場合、ノイズの主な原因は、ショットノイズと呼ばれる、レンズに入ってくる光子の数の自然なバリエーションです。

全てのカメラはこのノイズに苦しんでおり、完璧なセンサーであっても避ける事ができません。しかしながら、センサーは完璧ではないので、更に第二のノイズ源が存在します。リードノイズと呼ばれるこのノイズは、各画素に当たった光を数値に変換する際に発生するランダムな誤差が原因です。

これら及び他のランダム性を原因とするノイズは、全体的にSNR(SN比:信号対雑音比)、つまり明るさのばらつきがどれだけ目立つかに起因します。幸いにも、SNRは露光時間の平方根(またはそれより速く)で上昇するため、露光時間を長くするとより鮮明な画像が得る事ができます。しかし、ぼやけた光の中で良い写真を撮るためにカメラを固定して持っておくのは難しいですし、あなたの被写体も動かないでいてくれるとは限らないでしょう。

私達は2014年に、写真を連続で撮影し、個々の写真をソフトウェアで整列させ、それらを融合することによってこの状況を改善するcomputational photography技術であるHDR +を発表しました。HDR+の主な目的は、ダイナミックレンジを改善することです。ダイナミックレンジとは、明暗が極端な場面(夕焼けや後ろから光が当たっている人物など)を撮影することを意味します。全ての世代のPixelスマートフォンにはHDR+が搭載されています。

結局のところ、連続写真を融合すれば、ショットノイズとリードノイズの影響が減少し、暗い照明下でもSNRが向上します。HDR+ではカメラを持つ手が手振れしたり、被写体が動いても、これらの写真を鮮明に保つために、露光を短くします。そしてまた、連続写真に鮮明に映っていない部分があれば、その部分は融合時に使いません。これにより、より多くの光を収集してSNRを向上させながら、HDR+は鮮明な写真を生成できるのです。

暗闇とはどのくらい暗いのでしょう？
しかし、複数の写真を撮影して融合すれば暗い場所でより鮮明な写真を取れるのに、何故HDR+をそのまま使うのではなくNight Sightを開発する必要があったのでしょうか？まずは、「暗闇」の意味を定義することから始めましょう。カメラマンが風景の明るさレベルについて話しをするとき、彼らはしばしばそれをルクス(lux)という単位で表現します。技術的には、luxは単位面積あたりの表面に到達する光の量であり、1平方メートルあたりのルーメン(lm)で測定されます。異なるルックスレベルがどの程度の実感値になるのかを感覚で掴むため、以下に便利な表があります。

30,000lux	太陽が照り付ける歩道
10,000lux	晴れた日の歩道の日陰
1,000lux	曇り空の歩道
300lux	平均的なオフィスの照明
150lux	家庭のデスクライト
50lux	平均的なレストラン
20lux	趣のあるレストラン
10lux	引き出しから正しい靴下のペアを取り出せる限界
3lux	街灯によって照らされた歩道
1lux	新聞を読める限界
0.6lux	満月によって照らされた歩道
0.3lux	床に落ちた鍵を見つけることが出来ない
0.1lux	懐中電灯がなければ家の中でも歩く事が出来ない