Google Pixel 3が突破したデジタルカメラの５つの限界(1/2)

１．Google Pixel 3が突破したデジタルカメラの５つの限界(1/2)まとめ

・Pixel 3の搭載カメラの５つの新機能についてのレビュー
・デジタル一眼レフカメラに迫る性能を持つ超解像度Super Res Zoom機能
・15枚の連続写真から画素情報を補完する真の生データであるComputational Raw

２．何故、Pixel 3には背面カメラが1つしかないのか？

以下、www.dpreview.comより「5 ways Google Pixel 3 camera pushes the boundaries of computational photography」、Pixel 3のカメラのレビューの意訳です。GoogleのAIのTOPのJeff Deanが良い記事だとTwitterで言っていた記事の前編です。後編はこちら。Pixel 3関連の記事のまとめはこちら

Google Pixel 3の発売に伴い、スマートフォン搭載カメラはさらに大きな飛躍を遂げました。私は、Pixel 3の新しいカメラを実現した技術の詳細について、Pixel搭載カメラのプロダクトマネージャであるIsaac ReynoldsとGoogleのDistricished Engineer且つComputational PhotographyリーダーのMarc Levoyから話を聞く機会がありました。

Pixel 3について調べると最初に気付くことの1つは、背面部のカメラが一つしか搭載されていない事です。他の競合するスマートフォンがデュアルカメラ(2台のカメラ)、トリプルカメラ(3台のカメラ)、更にはクァッドカメラ(4台のカメラ)を搭載している機種もあるような昨今では、メインカメラが一つしかないのは奇妙な事に思えます。

しかしMarcとIsaacに話を聞いた後、私はPixel 3のカメラチームが、少なくとも現時点では、正しいアプローチを取っていると思っています。

1つのカメラを使ってより良い写真を撮影する技術は、複数のカメラを使ってよりよい写真を撮る技術に将来的に応用できます。また、過去に、1つのカメラを使った手法であるポートレートモードがデュアルカメラを使った手法より優れていた事も知っています。特にカメラで望遠機能を使う場合、複数カメラを搭載するとモジュールやセンサーが小さくなるために、レンズも焦点を合わせるのが遅くなり、その結果、信頼性の高いオートフォーカスが提供できなる事があるのです。

以下でPixel 3搭載カメラのコアテクノロジーを５つ、詳しくレビューしましょう。

（１）Super Res Zoom(超解像度ズーム)
（２）Computational Raw(計算された生データ)
（３）Synthetic Fill Flash(合成フィルフラッシュ/合成日中シンクロ)
（４）Learning-based Portrait Mode(機械学習によるポートレートモード)
（５）Night Sight(夜間撮影モード)

Pixel3のSuper Res Zoom(超解像度ズーム)

訳注）Pixel 3のSuper Res Zoom機能の技術的背景については別記事「Pixel3のSuper Res Zoomで更に綺麗な写真を撮影する」により詳細があります。

昨年発表されたPixel 2は、バースト撮影(連続撮影)でどんな事が可能になるのか私達に示してくれました。HDR +はその秘密の源であり、メモリ内に9つのフレームを常にバッファリングすることによって機能しました。シャッターを押すと、カメラは基本的に最後の9フレームに時間を戻します、それらをそれぞれを何千ものタイルに分割し、それらをすべて対応するタイル毎に整列させて平均化するのです。

各画像を小さなタイルに分割することにより、撮影者または被写体が動いていた場合でも、各タイルを対応するタイルに上手く整列させる事が可能になります。これにより、一枚だけの写真ではブレたりぼやけてしまうかもしれない場面でも連続した他のショットのタイルを用いてブレたりぼやけているタイルを補完し、移動している被写体も綺麗に撮影する事が出来るのです。

整列された各タイルを平均化する事により、ノイズを均一化させる事が出来、それは一眼レフカメラのようなより大きなカメラとセンサーを使った写真に匹敵する品質の写真を作り出す事を可能にするのです。そして、シャッターボタンを押す直前に撮影された最後の9フレームまで時間を戻すことは、シャッターを押すタイミングが遅れる事がなくなることを意味します。

Pixel 2と同様に、HDR+により、Pixel 3はコントラストの高い状況でも鮮明で低ノイズな画像をレンダリングできます。

今年は、Pixel 3がこの機能を更に進化させました。Pixel3はHDR+とバースト撮影を使用して最大15枚の画像をバッファに入れ、超解像度技術により、センサーとレンズの組み合わせが従来達成していた以上の超解像度を実現します。人間の手ブレと光学式手ブレ補正機能（OIS）から得られる連続した画像のわずか差異、この差異は手ブレが元なのでピクセル単位の正確さはありませんが、この手ブレのブレを用いてサブピクセル単位でより詳細なディティールを写真に補完する事ができるのです。

実際、私は画像間の差異が光学式手ブレ補正システムによって注意深く制御されていると教えてもらいました。Marc Levoy氏は次のように述べています。「光学式手ブレ補正が非常に小さく動いてフレーム間で微少な差異を作っている事をあなた自身で確かめることができます。」

この微少な差異は手ブレ補正のセンサーで使われるものではありません。微妙な差を持つ連続写真を、ベースとなる写真を補完するようにピクセル単位で均一に整列させ、次にベース画像をソフトウェアを用いてサブピクセル単位で補完するのです。

私たちは、レンズを微妙に動かす事によって、全てのピクセルの後ろに赤、緑、青の色をフィルターしているので、デモザイク(ピクセル間の色の補完)する必要はもうありません。

しかし、この技術に取り組んでいるGoogleとPeyman Milanfarのリサーチチームは、それだけではとどまりませんでした。「各フレーム間でレンズをわずかに動かす手法のお蔭で、ピクセルごとに赤、緑、青のフィルタが得られるので、デモザイクする必要はもうありません」とMarcは説明します。

十分なサンプルがあれば、どのシーンの要素も赤、緑、青のピクセルで表現できると期待できます。各シーンを整列させると、任意のシーン要素のR、G、B情報を使えるので、デモザイクする必要はありません。デモザイク、つまり隣接ピクセルから色や空間データを補間せずに解像度を向上させる事ができ、デモザイク処理に必要な数学的処理は画像にノイズを発生させる原因であるため、画像のノイズも減少します。この処理の利点は、専用のカメラでピクセルシフトモードを撮影するときの利点と本質的に似ています。

ズーム無しの28mm ノーマルワイドアングル

Super Res Zoom

少なくとも今のところSuper Res Zoomには以下の小さな問題があります。
Super Resは1.2倍以上のズームでのみ作動します。デフォルトの28mm相当のモードでは機能していません。また予想通りですが、ズームレベルが低いほど、Super Res Zoom画像は優れた品質を示します。当然、レンズの解像度には限界があるのです。しかし、Isaac Reynoldsによれば「このデジタルズームは、2倍の光学ズーム相当に匹敵するレベルです」との事で、しかもそれはスマートフォン上のカメラで実現できているのです。

私がGoogleに見せてもらったサンプル画像は、上記の画像の例よりもはるかに印象的でした。私達は自分自身でSuper Res Zoomをテストする機会があるまで、判断を保留する事にします。

訳注）Googleが公開しているSuper Res Zoomのサンプルアルバムは関連リンクにまとめてあります。

Pixel 3に背面カメラが２つあったらどのようなメリットがあるでしょうか？幾つかのケース、例えばもしかしたら、風景写真ではメリットがあるかもしれません。しかし、より多くのカメラを持っていることは、常により良い機能を意味するとは限りません。非常に多くのケースでは、「第2の」カメラは、センサが小さく、レンズが遅いために露出が悪く、位相を検出する画素が不足しているためにオートフォーカス機能も不十分になります。

Pixel 3のポートレートモードの大きな利点の1つは、オートフォーカスが通常の広角撮影と変わらない点です。デュアルピクセルAFとHDR +およびピクセルビニングを組み合わせることで、高速で動きの速い予測が難しい被写体であっても、驚くほど安定した露出性能を発揮します。

Pixel 3のComputational Raw(計算された生データ)

Pixel 3では、デフォルトのカメラアプリに「Computational Raw」撮影モードが導入されています。Isaacは、GoogleがPixel3のカメラで圧縮されていない生データ(Raw data)を提供する事を決定したとき、スマートフォンの計算機パワーの優位性を利用する適切な仕様にしたかったと強調しました。

Pixel 3のRaw dataファイルは、複数の連続写真を整列して融合した結果です。これはDSLRカメラ(デジタル一眼レフカメラ)の品質に迫っています。

「他社の同様な仕組みとは、重要な違いが1つあります。私たちのDNGファイルは、15枚の連続写真を整列して融合させた結果なのです。そのため、それはDSLRカメラ(デジタル一眼レフカメラ)が撮影した写真の品質に迫っているのです」とMarcは説明しています。

ここに誇張はありません。私達はセンサーの性能が高ければ、一回の露光で収集される光の総量が多くなり、写真の品質があがる事を良く知っています。そして、それは画像内に最も影響を与えるノイズ源、すなわち回線ノイズや統計的ノイズの影響を減らします。

Pixel 3のカメラは、連続撮影による複数の露光でより多くの光量を得る事ができ、移動する被写体をフレーム間で整列させる事により、小さなセンサーサイズを効果的に補うことができるため、ノイズを平均化することができます。それは、このような小さなセンサーを搭載するスマートフォンから貴方が期待する以上の暗い場面での性能とより高いダイナミックレンジが得られる事を意味します。

Shooting Rawを使用すると、この余分な範囲を利用することができます。Raw dataを書き込む前にカラーチャネルをスケーリングする必要がないという事実のお蔭で、ホワイトバランスを完全に自由にすることができます。更に良いニュースがあります。HDR +は、赤、緑、青のチャンネルを独立して融合します。つまり、生データは真の生データで、デモザイク(色の補完)されていないのです。

Pixel 3では、カメラ内で計算を行い真のRaw dataを提供します。

このように融合されたRaw dataは、従来のカメラにとって大きな脅威となります。計算上、センササイズに基づくと、Pixel 3搭載センサの15枚の平均フレームは、ノイズレベルに関してAPS-Cサイズのセンサと競合する事が示唆されます。もちろん、そこにはフィルファクタ、量子効率性、マイクロレンズデザインなど、もっと多くの考慮するべき要素がありますが、私達は言うまでもなくPixel 3をスタジオで使用し、Rawモードの専用カメラと比較することに非常に興奮しています。JPEG圧縮による影響を生データから切り離す事ができるのですから！

訳注）APS-Cサイズのセンサを搭載しているデジタル一眼レフカメラはレンズだけで１０万以上するような価格帯です。

従来のカメラでも複数のRaw Dataを1つのDNGに結合する機能を持つ機種は存在しますが、Pixel 3のカメラはスマートフォンに統合され、Googleは連続写真を細かいタイル単位で整列させてから融合させており、フレーム内で被写体が移動していてもゴーストを発生させない性能を持ちます。これは信じられないほどエキサイティングな事です！

Pixel 3のこの機能は熱意ある写真家にとって非常に有益です。さらに、Raw Dataは自動的にGoogleフォトにアップロードされるため、従来のカメラと同じように転送に手間取る事を心配する必要もありません。

（後編につづきます）