Pixel 3のSuper Res Zoomで更に綺麗な写真を撮影する(3/3)

１．Pixel 3のSuper Res Zoomで更に綺麗な写真を撮影する(3/3)まとめ

・Pixel 3のズーム機能Super Res Zoomの技術の解説
・従来のデジタルズームと違い複数枚の写真から高解像度画像を作成
・ハッブル宇宙望遠鏡などで使われている技術だがスマホで実現するのは簡単ではなかった

２．Super Res Zoomとは？

以下、ai.googleblog.comより「See Better and Further with Super Res Zoom on the Pixel 3」の意訳です。中編からの続きです。前編はこちら。Pixel 3関連の記事のまとめはこちら

Super Res Zoomを実現するために解決した課題
・連続した画像を効果的にマージ(融合)し、デモザイク処理をせずに全てのピクセルに対して赤、緑、青の値を生成するため、私達は、画像のエッジを考慮に入れてフレームにまたがった情報を統合して適応させる方法を開発しました。具体的には、入力フレームを分析して、それらを結合する方法を調整し、ディテールや解像度とノイズ抑制とスムージングの増加の間でバランスを取るのです。エッジをまたぐのではなく、見た目のエッジの方向にピクセルをマージすることでこれを実現します。これによる効果は、私達のマルチフレーム方式が、ノイズ除去とディティール強化の間で最良の実用的バランスを提供できることです。

左図：ノイズ除去と高解像度化のトレードオフを考慮して融合した一例
右図：より良いトレードオフを用いて同じ画像を融合した例
看板の枠線部分などがエッジを考慮した処理でより鮮明になっている

・複雑な局所的な動き（人々、車、水、木の葉などの動き）を確実に処理するために、アライメントエラーを検出し緩和するロバストネスモデルを開発しました。1つのフレームを「参照画像」として選択し、他のフレームの情報は適切な対応する特徴が見つかった場合にのみマージします。このようにして、画像に「ゴースト」やモーションブラーなどが発生する事を回避し、適切でない画像を融合してしまうことを避ける事ができます。

一連の画像内で高速に移動しているバスの写真
左図：ロバストネスモデルなしでマージ。右図：ロバストネスモデルありでマージ。
ガラスの部分などが非常に鮮明に保たれている

モバイル写真における最先端技術の推進
昨年発表したポートレートモードやそれ以前からのHDR +パイプラインは、モバイル機器による写真撮影がいかに優れたものに成り得るかを示しました。私達は今年、ズームで同じことをしました。これは、コンピューターを用いた写真を最先端技術で進化させ、スマートフォンの写真とDSLRカメラ(デジタル一眼レフカメラ)による写真品質の格差を縮小するもう一つのステップです。

下部のリンクに「ズームなし画像」と「Super Res Zoomを使ってズームした画像」を比較できるアルバムがあります。このアルバムのSuper Res Zoom画像は何も編集をされておらず、ピンチズームを使用してPixel 3上で直接撮影したものです。

左：Pixel2で7倍ズームした画像。右：Pixel3でSuper Res Zoomで撮影した画像
気球のマークがより鮮明になっている

超解像度のアイディアは、スマートフォンの登場に先立って少なくとも10年以上前に考え出されたアイディアです。ほぼ同じくらい長い間、映画やテレビなど様々な近未来を描く想像的な場面でも演出に使われてきましたし、学術雑誌や学会でも何千もの論文の対象となってきました。

そして今、それはあなたの手のひらのPixel 3で現実となりました。

Super Res Zoomのアニメーション例

ユーザーがズームした写真を撮ると、Pixel 3はユーザーの自然な手の動きを利用し、微妙に異なる位置で連続で画像を撮影します。これらをまとめて結合し、最終画像にディティールを追加します。

謝辞
Super Res Zoomは、Googleの複数チームの共同作業の結果です。このプロジェクトは、Peyman Milanfar、Marc Levoy、Bill Freemanがマネージメントするチームの共同努力なしでは不可能でした。著者はMarc LevoyとIsaac Reynoldsにこのブログの執筆における彼らの支援のために特に感謝したいと思います。

著者は、Ignacio Garcia-Dorado、Haomiao Jiang、Manfred Ernst、Michael Krainin、Daniel Vlasic、Jiawen Chen、Pascal Getreuer、Chia-Kai Liangなど、Super Res Zoomプロジェクトの主な貢献者を特に感謝したいと考えています。このプロジェクトはまた、Ce Liu、Damien Kelly、およびDillon Sharletによる貢献とフィードバックから大きく恩恵を受けました。

Super Res Zoomを最大限に活用するには？
Pixel 3携帯電話でSuper Res Zoomを最大限に活用するためのヒントをいくつか紹介します。

・ピンチとズーム、または+ボタンを使用して少しずつズームを拡大します。
・プレビューをダブルタップすると、ズームイン/ズームアウトをすばやく切り替えることができます。
・Super Resはすべてのズームファクタでうまく機能しますが、パフォーマンス上の理由から、1.2倍を超えて始めて有効になります。これは、ズーム画面で言えば、「ズーム無し」と最初の「ズーム有」の半分程度の位置です。
・広角カメラの光学解像度には基本的な制限があります。したがって、（任意の）ズームを最大限に活用するには、倍率を適度に保ってください。
・動きの速いオブジェクトを撮影する事は避けてください。Super Res Zoomはそれらを正しく撮影できますが、解像度が上がることはありません。

（中編からの続きです）