Pixel 4のNight Sightで撮影した天体写真(3/3)

１．Pixel 4のNight Sightで撮影した天体写真(3/3)まとめ

・人々は夜間は空が暗くなっている事を当然と思っているため空が明るく見えると撮影時刻を誤解する
・Night Sightでは撮影部分に空が含まれるとわざと空の部分を暗くする処理を加えている
・写真から空を検出する処理にはオンデバイスの畳み込みニューラルネットワークが使われている

２．夜空をわざと暗くする処理

以下、ai.googleblog.comより「Astrophotography with Night Sight on Pixel Phones」の意訳です。元記事は2019年11月26日、Florian KainzさんとKiran Murthyさんによる投稿です。

夜空の処理
非常に暗い場面をNight Sightで撮影すると、元々の暗い風景よりもはるかに明るい写真が撮影できます。しかしこのような写真は、撮影時刻を誤解させる可能性があります。私達は、夜間は空が暗くなっている事を当然と思っています。夜に撮影した写真であっても空が明るく見える場合、私達はその写真を、おそらくわずかに照明の加減を間違ってしまった昼間に撮影した写真と思ってしまいます。

この誤解を生じさせないようにするため、Night Sightは撮影した夜間写真に空が写っている場合、空の範囲をわざと暗めにします。

空の範囲を特定するために、Night Sightは機械学習を使用して、画像のどの領域が空を映しているかを検出しています。オンデバイスで実行される畳み込みニューラルネットワークを使って、写真の各画素を「空」または「空ではない」と識別しています。このニューラルネットワークは、空の輪郭を手動でトレースしてラベル付けした100,000枚以上の画像を使って訓練されています。

明るい満月の夜に撮影された風景写真
左半分は空を暗くする処理を行っていません。右半分のみ、空を暗くしています。地面部分は暗闇効果の影響を受けていない事に注目してください。

また、空を検出する事により、空を撮影する際に固有のノイズを低減し、コントラストを選択的に高めて、雲、色のグラデーション、または天の川などの特徴をより際立たせることができます。

結果
スマートフォンを三脚に装着すると、Night Sightは輝く星でいっぱいの星空の鮮明な写真を撮影する事ができます。少なくともわずかな月光がある限り、撮影された風景は鮮明でカラフルになります。

もちろん、スマートフォンの機能は無限ではなく、常に改善の余地があります。

夜間の風景は全体的に暗いのですが、多くの場合、月、遠くの街灯、強い光を放つ星など、明るい光源が含まれています。「月明かりに照らされた地面」も「満月の細部」も撮影する事ができますが、明るさの比率が500,000：1を超える可能性があるほど、非常に輝度範囲が広いため、同じ画像で両方を撮影する事はできません。

また、星が唯一の照明源である場合、空は鮮明に撮る事ができますが、地面はシルエットとしてのみ表示される写真となります。

私達はPixel 4を開発する際、月のない夜空を撮影した写真の品質をチェックするために、射手座の近くの天の川の最も明るい空を基準として使用しました。これにより、標準的なNight Sight は非常に綺麗な撮影ができています。天の川の写真には多少のノイズが残っていますが、見ていて楽しい写真が仕上がり、肉眼で本当の星空を見上げている人よりも多くの星や詳細を見る事ができます。

Pixel 4のGoogleカメラアプリで撮影した写真の例。他のPixel 3やPixel 4で撮影した写真はphotos.google.comで見る事ができます。

Night Sightで天体写真を撮影するためのヒントとコツ
私達はNight Sightで天体写真の開発とテストをする過程で、Pixelスマートフォンで屋外の夜間写真を撮影して経験を積みました。その際に会得した、役立つヒントやコツを共有したいと思います。末尾関連リンクのdrive.google.comから見つけることができます。

謝辞
Night Sightは、Googleの複数のチーム間の継続的なコラボレーションです。
プロジェクトへの主要な貢献者には、Gcamチームより、Orly Liba, Nikhil Karnad, Charles He, Manfred Ernst, Michael Milne, Andrew Radin, Navin Sarma, Jon Barron, Yun-Ta Tsai, Tianfan Xue, Jiawen Chen, Dillon Sharlet, Ryan Geiss, Sam Hasinoff, Alex Schiffhauer, Yael Pritch Knaan そして Marc Levoy。Super Res ZoomチームよりBart Wronski, Peyman Milanfar, そして Ignacio Garcia Dorado。Google camera appチームより、Emily To, Gabriel Nava, Sushil Nath, Isaac Reynolds, そして Michelle Chen。Android platformチームよりRyan Chan, Ying Chen Lou, そして Bob Hung。Mobile VisionチームよりLongqi (Rocky) Cai, Huizhong Chen, Emily Manoogian, Nicole Maffeo, そしてTomer Meron。Machine Perceptionチームより、Elad Eban と Yair Movshovitz-Attias。