Pixel 4のNight Sightで撮影した天体写真(1/3)

１．Pixel 4のNight Sightで撮影した天体写真(1/3)まとめ

・Google Pixel 3用のカメラアプリNight Sightはスマートフォン搭載カメラで暗い風景を撮影可能だった
・Night Sightの最新バージョンでは人工の光なしで星空や夜間の風景を鮮明な写真として撮影可能
・Pixel 4で最大4分間、Pixel 3および3aで1分間の露出を許可する事で星空を写真撮影できる

２．Pixel 4のNight Sightで星空を撮影

以下、ai.googleblog.comより「Astrophotography with Night Sight on Pixel Phones」の意訳です。元記事は2019年11月26日、Florian KainzさんとKiran Murthyさんによる投稿です。

これまでのところ、夜間に屋外のシーンを撮影することは、優れた画質を実現できる一眼レフカメラ(DSLR)などの大型カメラの独壇場でした。数年前、スマートフォン搭載カメラで夜間に写真を撮影する実験を行ったところ、満足のいく結果が得られましたが、その際に用いた手法は熱心なユーザーでなければ真似できないような非実用的な方法でした。

Google Pixel 3用のカメラアプリの一部として昨年導入されたNight Sightは、通常のカメラモードでは粒子が粗く露出不足の画像になってしまうほど暗い環境でも、スマートフォン搭載カメラを使って見栄えの良い写真を手で撮影できます。過去のブログ投稿で、私たちのチームは、Night Sightがこれをどのように行っているのかを説明し、SIGGRAPH Asia 2019では技術的な議論を行いました。

今年更新されたNight Sightの最新バージョンでは、スマートフォン搭載カメラによる低照度撮影写真の限界を押し広げます。Pixel 4で最大4分間、Pixel 3および3aで1分間の露出を許可することにより、人工の光なしで、夜空の星や夜間の風景を鮮明な写真として撮ることができます。

雲のない月のない9月の夜にハレアカラ火山の頂上から見た天の川。Pixel4 XLで実行されているGoogleカメラアプリを使用して撮影されました。画像は一切修正及び後処理されていません。この漆黒の夜に人の肉眼で見ることができるよりも、はるかに詳細な星空を示しています。天の川に沿った塵の雲がはっきりと見え、空は何千もの星々で覆われており、人間の暗視とは異なり、写真は色鮮やかです。

Night Sightの概要
カメラのイメージセンサーで検出される光の量には、本質的に「ショットノイズ」と呼ばれる不確実性があり、これにより画像が粗くなります。光の量が増えると、ショットノイズは目立たなくなります。従って、カメラが高品質の写真を撮影できるようにするためには、できるだけ多くの光を集める事が最善です。

一定時間内にイメージセンサーに到達する光の量は、カメラのレンズの開口部の大きさによって左右されます。写真の露出時間を長くすると、取り込める光の総量が増えますが、露出が長いと、撮影されている被写体が動いたり、カメラの手振れが発生し、写真をぼやけさせる可能性があります。

これを克服するために、Night Sightは露出を長くした一枚の写真を撮影するのではなく、複数の写真(フレーム)を撮影します。個々のフレームの露出時間を短くする事で、それぞれのフレーム内でのモーションブラー(ぼやけ)を少なくします。

フレームは最初に位置合わせされ、カメラの揺れと被写体の動きの両方が補正されます。その後、完全な位置合わせが不可能な場合は慎重に平均化処理が行われます。個々のフレームはかなり粗い場合がありますが、平均化された画像は非常に綺麗に見えます。

露出時間の実験
オリジナルのNight Sightがリリースされた後、私たちは非常に暗い屋外環境で写真を撮影する条件について調査を開始しました。星空を撮影する事を目標にしたのです。以前の実験と同様に、高品質の写真を撮影するためには露光時間を数分単位で設定する必要がある事がわかりました。明らかに、これはカメラを手持で持った状態では手振れにより実現できません。携帯電話は、三脚、岩、またはカメラを固定するために何かを利用する必要があります。

Night Sightで撮影する際は、手で持って撮影した際の手振れだけでなく、撮影風景内に写り込む物体の動きを考慮する必要があります。風に揺れる木々、空を横切って雲が漂い、月と星は東から昇って西に沈みます。

写真の閲覧者は、他が鮮明であれば写真に写る雲や木の枝がボヤケる事は許容してくれますが、短いボヤけた線で動きが表現された星は美しく見えません。

これを緩和するために、露出時間をフレーム毎に分割して、星が光の点のように見えるようになるまで露出時間を短くしました。実際の夜空の写真を撮ると、フレームごとの露光時間が16秒を超えるべきではない事がわかりました。

単一フレームを2分間露出して撮影した動きのぼやけた星