Polyblur：過去に撮影した写真からノイズとピンボケを除去(1/2)

１．Polyblur：過去に撮影した写真からノイズとピンボケを除去(1/2)まとめ

・未知のカメラで生成された画像からノイズ除去とシャープネスの改善を行う事は困難
・ノイズ除去とブレ削減は矛盾した操作であるため計算効率の高い画像強調技術が必要
・ポリブラーと呼ぶブレ除去法とプルプッシュノイズ除去の組み合わせてこれを実現

２．Google フォトのノイズ除去とシャープ化ツール

以下、ai.googleblog.comより「Take All Your Pictures to the Cleaners, with Google Photos Noise and Blur Reduction」の意訳です。元記事は2021年6月28日、Mauricio DelbracioさんとSungjoon Choiさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Eliyah Reygaerts on Unsplash

特にモバイルデバイスでの画像技術の最近の飛躍にもかかわらず、写真撮影時のノイズやピンボケは根絶されておらず、写真の視覚的品質を向上させるために最も重要な対策が必要な現象です。

これらは、暗い場所で写真を撮るときに特に関係があります。暗い場所ではISOを上げるか、シャッター速度を遅くすることで明るさを補正できる場合がありますが、これにより、ノイズが目立つにようになり、場合によっては画像が更にぼやけるようになります。

ノイズは、光の粒子の性質に関連している(ショットノイズ)可能性があり、または読み出しプロセス中に電子部品によってもたらされる(読み取りノイズ)可能性もあります。

それから、撮影されたノイズの多い信号は、カメラ画像プロセッサ(ISP:Image Signal Processor)によって処理され、後処理として行われる写真編集プロセスによってさらに強調、増幅、または歪められる可能性があります。画像のぼやけ(ブラー)は、撮影中の不注意な手ぶれ、カメラのフォーカスの不適切な設定(オートフォーカスか否か)、レンズの絞り、センサーの解像度、カメラの画像処理など、さまざまな現象によって引き起こされる可能性があります。

センサー、光学ハードウェア、および土台となるソフトウェアの詳細が判明しているカメラ内の処理でノイズとピンボケの影響を最小限に抑える事はカメラ外で処理するよりはるかに簡単です。

しかしながら、任意の(おそらく未知の)カメラで生成された画像が提示された場合、詳細な知識とカメラの内部パラメータへのアクセスが不足しているため、ノイズ除去とシャープネスの改善ははるかに困難になります。

ほとんどの場合、ノイズとピンボケの問題は本質的に関連しています。ノイズ削減は、不要な詳細とともに微細な構造を排除する傾向があります。ピンボケの削減は、構造と細部を後押ししようとします。この相互接続性により、モバイルデバイスで実行するのに計算効率の高い画像強調技術を開発することが難しくなります。

本日、カメラにとらわれない、ほとんどの画像の品質を向上させることができるノイズとブラーの推定と除去のための新しい手法を紹介します。

ポリブラー(polyblur)と呼ぶブレ除去方法と組み合わせたプルプッシュノイズ除去アルゴリズム(pull-push denoising algorithm)を開発しました。これらのコンポーネントは両方とも計算効率を最大化するように設計されているため、ユーザーはモバイルデバイスでミリ秒単位で数メガピクセルの画像の品質を向上させることができます。

これらのノイズとブラーの低減戦略は、「ノイズ除去(Denoise)」ツールと「シャープ化(Sharpen)」ツールを含む、最近のGoogleフォトエディタの更新の重要な部分です。これにより、ユーザーは、理想的とは言えない条件下で、またはノイズの多いセンサーやシャープでない光学系を備えた古いデバイスでキャプチャされた可能性のある画像を鮮明にすることができます。

Googleフォトエディタで利用できるようになった「ノイズ除去」ツールと「シャープ化」ツールのデモンストレーション。

画像ノイズの推定

写真画像を正確に処理し、ノイズとブラーの望ましくない影響をうまく減らすためには、最初に画像に見られるノイズとブラーのタイプとレベルを特徴づけることが非常に重要です。したがって、ノイズ低減のためのカメラにとらわれないアプローチは、画像を作成したデバイスに関係なく、任意の画像から画素レベルでノイズの強度を測定する方法を策定することから始まります。

ノイズレベルは、元となる画素の明るさの関数としてモデル化されます。つまり、輝度レベルごとに、モデルは、実際のノイズ源または処理パイプラインのいずれにも依存しない方法で、対応するノイズレベルを推定します。

この明るさベースのノイズレベルを推定するために、画像内の基礎となる構造を大まかに削除した後、画像全体からいくつかの小さな区画をサンプリングし、各区画内のノイズレベルを測定します。

このプロセスは画像を拡大縮小して繰り返されるため、圧縮、画像のサイズ変更、またはその他の非線形カメラ処理操作から発生する可能性のある人工物に対して堅牢になります。

左側の2つの領域は、入力画像(中央)に存在する信号依存のノイズを示しています。ノイズは下部の暗い箇所を切り抜いた部分でより顕著です。写真の構造とは関係なく光のレベルに関係があります。このような画像の断片をサンプリングして処理を行い、空間的に変化するノイズマップ(右)を生成します。ここで、赤はより多くのノイズが存在することを示します。