Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する(3/3)

１．Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する(3/3)まとめ

・人間が暗闇で知覚した風景とNight Sightが撮影した真の風景にはギャップが発生
・0.3ルクス以下でも工夫すれば撮影できるがノイズによる限界は存在
・その他、Night Sightを使いこなすためのヒントやtipsなど

２．Night Sightを実現した技術

以下、ai.googleblog.comより「Night Sight: Seeing in the Dark on Pixel Phones」の意訳です。元記事は2018年11月14日、Marc LevoyさんとYael Pritchさんによる投稿です。こちらからの続きです。

(2)見るには暗すぎるシーンのトーンマッピング

訳注）トーンマッピングとはHDR+が行っている連続撮影した複数枚の写真を融合して一枚の写真を作る事の一種で、特に明るさ(トーン)について行う事です。

Night Sightの目標は、暗すぎてあなたが自分の目ではっきりと見れないような場面でも「魔法のように」ハッキリと写真を取る事です。

困った事に非常に暗い場面では、人の網膜の錐体細胞は機能しなくなり、人間は色を区別する事ができなくなります。夜であっても色鮮やかな風景は色鮮やかなままです。私達人間がただその色を認識できないだけなのです。私達はNight Sightの写真をもっとカラフルにしたいと思っています。他にも潜在的な問題があります。人間の桿体細胞は空間的な感覚が鈍いので、夜間に物事が不明瞭に見えるのですが、私たちはNight Sightの写真を人間が夜間に知覚できる以上にもっと鮮明にしたいと思っています。

たとえば、デジタル一眼レフカメラを三脚に置き、数分間、非常に長い時間をかけたり、複数の短い露出を重ねると、夜間であっても昼間のように明るく見えます。陰影もディティールが確認でき、風景はカラフルで鮮明になります。以下のデジタル一眼レフカメラで撮影した写真をご覧ください。

あなたは写真内に星を確認できるので、それは夜の風景を撮影した写真のはずですが、草は緑に生い茂り、空は青く、月に照らされた木々は太陽に照らされているかのように影が出来ています。これは素晴らしい効果ですが、必ずしも好ましい結果として受け入れられず、友達とこの「魔法のように」撮影した写真を共有すると、何時に撮影した写真なのか友達は混乱することになるでしょう。

夜のヨセミテ渓谷。Canon DSLR、28mm f/4レンズ、3分露出、ISO 100。星を見ることができるので夜間の写真ですが、まるで昼間のように見えます。

芸術家達は昔から夜を夜らしく絵に描く方法を知っていました。

「太陽系儀の講義」ジョセフ・ライトによる1766年の作品。芸術家は黒と白の顔料を使用していますが、このシーンからは明らかに暗い印象を受けます。どのようにして彼はこれを達成したのでしょうか？彼はコントラストを強め、周囲を暗くし影の部分を真っ黒に塗りつぶしています。何故なら暗闇の中では影の部分は見えないからです。

私たちはNight Sightで同じテクニックを採用していますが、部分的にトーンマッピングを使用しています。しかし、あなたが「魔法のように」撮影した写真と実際にあなたが見た風景に効果的なバランスをとるのは難しいのです。

以下の写真はこのバランスに特に成功しています。

Pixel 3の6秒間露光Night Sightモードによる撮影。三脚使用。 (写真Alex Savu)

どのくらいの暗闇までNight Sightは対応できますか？

0.3ルクス以下では、オートフォーカスが失敗します。床に落ちた鍵を見つける事ができなければ、スマートフォンはピントを合わせることができないのです。この制限に対処するために、Pixel 3のNight Sightに2つのマニュアルフォーカスボタンが追加されています。「Near(近く)」ボタンは約4フィート、「Far(遠く)」ボタンは約12フィートに焦点を当てています。後者は私たちのレンズの過焦点距離です。つまり、その距離の半分(6フィート)から無限遠までの間に全ての焦点が存在している必要があります。また、Night Sightの低照度でのオートフォーカス機能を向上させるために取り組んでいます。

0.3ルクス未満であっても、スマートフォンで素晴らしい写真を撮ることは可能です。このブログ記事のように天体写真を撮ることさえもできますが、そのためには、三脚、マニュアルフォーカス、AndroidのCamera2 APIを使用して書かれたサードパーティ製のアプリ等が必要になります。

どのくらいの暗さまでNight Sightで写真を取ることができるのでしょうか？最終的に読み取り時のノイズの数がPixelスマートフォン搭載カメラが集める事ができる光子の数を圧倒してしまうような光量レベルまでです。ショットノイズやリードノイズ以外にもノイズ源はあります。暗電流は、熱や絶縁不良などによって光を当てないでも流れてしまうる電流で、露光時間とともに増加し、温度によって変化するノイズ源となります。これを避けるために、生物学者はかすかに光る蛍光標本を撮影する際に華氏0度(摂氏では-17度くらい)以下にカメラを冷却しています。私達は貴方のPixelスマートフォンを冷却する事をお勧めしません！

沢山のノイズが入り混じった画像を確実に整列させて綺麗な写真を生成する事は難しいのです。これら全ての問題を解決することができたとしても、風は吹き荒れ、木々は揺れ動き、星も雲も天空を動き回るでしょう。超長時間露光撮影は難しいです。

Night Sightを使いこなすためのちょっとしたコツ
Night Sightは、暗いところで大きな写真を撮るだけでなく、あなたがほとんど何も見ることができない場面でも写真を撮る事ができるので面白い使い方もできます。私達はNight Sightの使用に適した風景を感知すると、スクリーンにポップアップでアドバイスを表示しますが、それ以外にも使うと面白い場面はあります。例えば、日没後、コンサート会場で、街角で、Night Sightはくっきりと綺麗な写真を撮り、現実よりも風景を明るく見せます。あたかも魔法を使って日中で撮影されたかのような風景です。下部のリンクにNight Sightの写真の例と、主にGoogleの同僚たちが撮影したNight Sight使用時と非使用時の比較画像集があります。以下に、Night Sightを有効活用するためのヒントをいくつか紹介します。

・Night Sightは完全な暗闇の中では動作できませんので、何らかの光が当たっている場所で撮影してください。
・柔らかく均一な照明は、暗い影を作る荒々しい照明よりも優れています。
・レンズフレアを避けるには、非常に明るい光源を視野に入れないようにしてください。
・露出を増やすにはファインダー内の様々なオブジェクトをタップしてから、露出スライダーを動かします。再びタップすると無効になります。
・露出を減らすには、撮影後に Google Photoのeditorを使って暗くします。ノイズを少なくする事ができます。(下部のリンク参照)
・暗すぎるとピントが合いません。ハイコントラストになっている箇所の端、もしくは光源の端をタップします。
・それでもピントが合わない場合は、Near(4フィート)またはFar(12フィート)のフォーカスボタンを使用してください。

マニュアルフォーカスボタン(Pixel 3のみ)

・画像の鮮明度を最大限にするには、Pixelを壁や木に添えたり、テーブルや岩の上に置いて手ブレの発生を防ぎます。
・Night Sightは、自撮りでも機能します。オプションで自撮り確認用のスクリーン自体を光らせる(face brightening)事により明るさを増す事ができます。

HDR+とNight SightとNight Sightに更にface brighteningを使った比較

HDR+を使用した夜間の自撮り(写真:Rotern Knaan)

Night Sightを使用した夜間の自撮り

Night Sightにオプションのface brighteningで明るさを増やした自撮り。背後からフォトボマー(写真に写り込んで写真撮影を邪魔する人)が現れました！

Night SightはPixel 3で最も効果を発揮します。Pixel 2とオリジナルのPixelにも搭載されていますが、後者は光学式手振れ補正装置(OIS)がないため短時間露光を使用しています。また、機械学習ベースのホワイトバランサーはPixel 3に最適化して訓練しているため、古いスマートフォンではあまり正確ではありません。

ところで、私たちはNight Sightモードでファインダーを明るくして、暗い場所での撮影をやりやすくしますが、ファインダーは1/15秒の露出に基づいていて画面表示しているため、ノイズが多く、最終的にNight Sighが仕上げる写真とはかなり異なっています。ですので、気にせずシャッターチャンスにシャッターを押してください。あなたはきっと驚くでしょう！

謝辞
Night SightはGoogleの複数チームの共同作業でした。
GcamチームのCharles He、Nikhil Karnad、Orly Liba、David Jacobs、Tim Brooks、Michael Milne、Andrew Radin、Navin Sarma、Jon Barron、Yun-Ta Tsai、Jiawen Chen、Kiran Murthy、Tianfan Xue、Dillon Sharlet、Ryan Geiss、Sam Hasinoff、Alex Schiffhauer。Super Res ZoomチームのBart Wronski、Peyman Milanfar、Ignacio Garcia Dorado。GoogleカメラアプリチームのGabriel Nava、Sushil Nath、Tim Smith、Justin Harrison、Isaac Reynolds、Michelle Chen。

(Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する(2/3)からの続きです)