Pixel 3のSuper Res Zoomで更に綺麗な写真を撮影する(2/3)

１．Pixel 3のSuper Res Zoomで更に綺麗な写真を撮影する(2/3)まとめ

・Pixel 3のズーム機能Super Res Zoomの技術の解説
・従来のデジタルズームと違い複数枚の写真から高解像度画像を作成
・ハッブル宇宙望遠鏡などで使われている技術だがスマホで実現するのは簡単ではなかった

２．Super Res Zoomとは？

以下、ai.googleblog.comより「See Better and Further with Super Res Zoom on the Pixel 3」の意訳です。前編からの続きです。後編に続きます。Pixel 3関連の記事のまとめはこちら

手ブレを利用した実用的な超解像度

既に述べたように、一部のDSLRカメラ(デジタル一眼レフカメラ)は、特殊な三脚で超解像度(super-res)モードを実現しています。しかし、このアプローチは、カメラ内部のセンサおよび光学系の物理的な動きに依存するか、それができなければカメラを完全に固定する必要があり、フリーハンドで手ぶれが発生するスマホカメラでは実用的な手段ではありません。これは、モバイルプラットフォーム上で超解像度イメージングを実現するためのジレンマです。

しかしながら、私たちはこの手ブレを上手く活用することで、この困難を克服しました。ハンドヘルドカメラや携帯電話で写真を撮るとき、フレーム間には常に動きがあります。OIS(光学式手振れ補正システム)は、大きなカメラで手ぶれ、通常は1/30秒間隔で連続するフレーム間の5～20ピクセルを補正します。しかし、全ての人（手の震えが比較的少ない人でさえも）で発生する、より速く、より小さな、自然な手のぶれを完全に排除することはできません。高解像度センサーを備えた携帯電話を使用して写真を撮るとき、この手の振れはわずか数ピクセルの大きさです。

グローバルアラインメント補正をした後の手ぶれの影響

手ぶれを利用するには、まず、画像を一直線に並べる必要があります。一連の画像からの単一の画像を「ベース」または基準フレームとして選択し、他のすべてのフレームを基準フレームに対して相対的に揃えます。（これをグローバルアラインメントと言います）整列後、画像は、この記事の前半に示されている図のようにおおよそ一つの画像に結合できます。もちろん、手ぶれ画像がちょうど単一のピクセルだけ動くことはありません。したがって、ベースフレームのピクセルに色を補完する前に、各フレームの隣接ピクセル間の色を補間する必要があります。

装置が完全に固定されていて手ブレが存在しない場合（例えば、三脚に置かれている場合）であっても、OISモジュールをシャッター間でわずかに動かすことによって、カメラを意図的に「ジグリング(貧乏ゆすりの様に小刻みに動かす運動)」して自然な手の動きをシミュレートすることができます

この動きは非常に小さく、通常の写真に干渉しないようになっています。しかし、その気になれば貴方は自分のPixel3を窓に押し当てるなどして完全に固定し、ビューファインダーを最大限にピンチズームすれば、下に示すような遠くの物体では、小さな連続的な楕円運動をしている事を見ることができます。

超解像の課題を克服する
私たちがこれまで見てきたように理想的な状況であれば説明は簡単ですが、超解像度はそれほど簡単に実現できる事ではありません。スマートフォンのような消費者製品に広く使われていない多くの理由があり、重要なアルゴリズムを革新する開発が必要です。課題には下記が含まれます。

・一連の画像から抜き出した単一の画像は、良好な照明下でもノイズが多いです。実用的な超解像度アルゴリズムは、このノイズを認識し、それにもかかわらず正しく動作する必要があります。私たちは、より高解像度が高いノイズの多い画像を取得することを望んでいるわけではありません。私たちの目標は、解像度を向上させることだけでなく、ノイズの少ない結果を生成すること目標です。

左：良好な光条件下で撮影された一連の画像からの単一フレーム画像であっても露出不足のために相当量のノイズが含まれている可能性があります。右：一連の画像の処理後に複数のフレームを融合してノイズを減らした結果

・一連の画像間の動きは、カメラの動きだけに限定されません。吹き飛ばされた葉や水面を横切って流れる波、移動している車や人、顔の表情を変える人、炎のちらつきなどの複雑な動きがあるかもしれません。煙やガラスのように透明であっても重なり合うため、動きの推定が難しい動きもあります。完全に信頼性があり、且つ限定された箇所に対するアライメントは一般に不可能です。従って、動きの推定が不完全であっても良好な超解像度になるようにアルゴリズムを設計する必要があります。

・多くの動きは推測できないランダムな動きであるため、良好なアライメントがあっても、画像のある領域ではデータが密であり、他の領域ではデータが疎である可能性があります。超解像度とはつまる所、複雑な補間問題です。データの不規則な分散は、グリッドの全ての部分で高解像度の画像を生成することを困難にしています。

画像をグリッド(格子)に区切ると、Dense(密)にデータが存在するグリッドとSparse(疎)なグリッドができてしまい、均一な色の補完ができません。

これらの課題を知ると、現実世界で超解像度を実現する事は不可能であるか、または静止画を三脚に固定したカメラで撮影する限定された状況でしか使えないように思えてくるでしょう。しかし、私達はPixel 3のSuper Res Zoomにより、自然な手の動きを使用し、携帯電話で実行するのに十分な堅牢性と効率を備えた、安定して高解像度画像が実現できる手法を開発しました。

以下は、これらの課題のいくつかをどのように解決したかについてです。
（後編に続きます）