Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(1/2)

１．Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(1/2)まとめ

・Fused Video Stabilizationは光学式手ブレ補正と電子式手ブレ補正の両方の応用
・Fused Video StabilizationによってPixel 2はiPhone XS同等のスコアを保持している
・手振れ以外にもローリングシャッター、フォーカスブレッシング等課題は多かった

２．Pixel 2のビデオが手振れしない理由

以下、ai.googleblog.comより「Fused Video Stabilization on the Pixel 2 and Pixel 2 XL」、 Chia-Kai LiangさんとFuhao Shiさんの力作投稿のの意訳です。元記事の初投稿は2017年11月なので約一年前で少し古く、且つ第二世代のPixel 2に関しての記事です。しかし、培われた技術は第三世代のPixel 3にも引き継がれています。後半記事はこちら

現在のスマートフォンの最も重要な機能の1つは、簡単にビデオを撮影して共有できることです。Pixel 2とPixel 2 XLスマートフォンでは、光学式手ブレ補正(OIS)と電子式手ブレ補正(EIS)の両方をベースとしたFused Video Stabilization(融合式ビデオ手ブレ補正)により、撮影したビデオの滑らかさと鮮明さが従来以上に向上します。

Fused Video Stabilizationは、最小限の設備で安定した映像を提供します。そのため、Pixel 2は2017年10月現在、DxOMarkの動画ランキングで一位と評価されています。(スマートフォンカメラの最高総合評価を獲得しています)しかし、どのような動作原理なのでしょうか？

訳注）DxOMark Image Labsはカメラやセンサーの性能をテストして公表している有名な調査機関です。2018年10月現在、Pixel 3はまだテストされておらずランキングに乗っていません。Pixel 2は総合評価(つまり写真＋動画)ランキングこそ9位に落ちていますが、動画部門のみに絞るとスコア96で発売から一年経過後も最新のApple iPhone XS Maxと同率一位を保持しています。

ビデオ撮影時に大切な原則は、カメラの動きを滑らかで安定したものに保つことです。安定したビデオは気を散らすことがないため、視聴者は関心のある被写体に集中することができます。しかし、スマートフォン本体は手ブレなどの様々な影響を受けるため、高品質のビデオをスマートフォンで撮影できるようにする事は困難なチャレンジです。

手ぶれ
ほとんどの人は携帯電話を手で持ってビデオを撮影します。ポケットから携帯電話を引き出し、ビデオを撮影し、録画直後にビデオを共有できるのです。しかし、それはあなたのビデオがあなたの手の揺れに直接影響を受ける事を意味します。更に、録画中にウォーキングやランニングをしている場合は、ビデオ酔いしてしまう程、揺れ動いてしまうこともあります。

モーションブラー
露出中にカメラまたは被写体が動くと、写真またはビデオにぼやけた部分ができてしまいます。もし連続したフレームの間で動きを安定させる事が出来ても、個々のフレームの動きのぼけは、実際には特にモバイルデバイスでは簡単には復元できません。モーションブラーによる典型的な影響の1つは、シャープネスの不一致です。ボヤケたフレームと鮮明なフレームが交互に写つるため、チラチラした非常に気が散る動画になってしまいます。

ローリングシャッター
CMOSイメージセンサは、一度に1行の画素または「走査線」を収集し、一番上の走査線から最下部に行くのに数十ミリ秒かかります。従って、この数十ミリ秒間に動くものは歪んで見えることがあり、これをローリングシャッターと言います。手ブレしなくとも、素早く移動するとローリングシャッターの歪みが写り込んでしまいます。

左：グルーバルシャッター、右：ローリングシャッター。グローバルシャッターは画素を一気に読み込むのでローリングシャッターのような歪みが出現しませんが、比較的高価であるのと、解像度はローリングシャッターの方が上げやすいと言う特徴があります。

フォーカスブレッシング
ビデオに写っている物体までの距離が様々に変化する時、前景から背景に「ジャンプ」するオブジェクトのため、ビデオのアングルが大きく変化する可能性があります。結果として、以下のビデオのように全てが縮小または拡大するように見えてしまいます。写真家はこれを「ブレッシング」と呼んでいます。

優れた安定化システムは、これらの問題のすべてに対処する必要があります。ビデオは鮮明に見え、動きはスムーズでなければならず、ローリングシャッターとフォーカスブレッシングを修正する必要があります。

多くの専門家は、手の動きを完全に分離するためにカメラに機械的な安定化装置を取り付けます。これらの装置は、カメラの動きを積極的に感知して補正し、望ましくない動きをすべて除去してくれます。しかし、一般的に高価で扱いにくいので、毎日、持ち歩く気にはなれないでしょう。

スマートフォン用の携帯ジンバル(カメラ固定台)も市販されていますが、スマートフォンより大きい製品がほとんどです。また、撮影を開始する前にスマートフォンを固定する必要があり、シャッターチャンスが消える前に固定作業をすばやく行う必要があります。

Optical Image Stabilization(OIS:光学式手ブレ補正)は、最もよく知られている手ぶれを抑止機構です。OIS機能付きのモバイルカメラのレンズモジュールの典型的な構造は、多数のばねによってモジュールの中央にレンズを吊り下げ、電磁石がその筐体内でレンズを移動させます。レンズモジュールは、非常に高速に手振れ動作を能動的に感知し、補正する事ができます。OISは手振れの動き迅速に反応できるため、ブレを大きく抑えることができます。

しかし、補正可能な動きの範囲はかなり限定されており(一般的に約1～2度)、連続するビデオフレーム間の望ましくない動きを補正したり、歩行中の大きな動きのぼけを補正するのには不十分です。更には、OISは回転などのいくつかの種類の動作を修正できなので、場合によってはjello effect(ビルがゼリーで出来ているかのごとく直線が曲がって見える事)が起こってしまいます。

Electronic Image Stabilization(EIS:電子式手ブレ補正)は、カメラの動きを分析し、写りの悪い部分をフィルタリングし、各フレームを変換して新しいビデオを合成します。最終的に出来上がるビデオの品質は、各段階のアルゴリズムの設計および実装の最適化に依存します。一般的に、ソフトウェアベースのEISはOISよりも柔軟性があり、より多くの種類の動きを修正することができます。しかし、EISにはいくつかの共通の制限があります。

第1に、合成されたビデオ内に何も映っていない未定義領域が発生する事を防ぐために、視野の範囲または解像度を低減する必要があります。第2に、OISや外部安定化装置と比較して、EISはより多くの計算を必要としますが、スマートフォンでは計算機資源は限られたリソースです。

（後半に続きます）