ソフトウェアで強化されているPixel 3とPixel 3 XL(1/2)

１．ソフトウェアで強化されているPixel 3とPixel 3 XL(1/2)まとめ

・Pixel 3とPixel 3 XLに搭載されているソフトウェア機能の概要
・Googleが従来開発してきたAI関連技術を様々な形でふんだんに盛り込んでいる
・防水・防塵規格もIP68、これはiPhoneの最上位機種と同等のレーティング

２．Pixel 3とPixel 3 XLの特徴

以下、www.dpreview.comより「Pixel 3 and Pixel 3 XL feature enhanced computational features, dual front-facing cameras」の意訳です。Pixel 3は調べるとGoogleが従来開発してきたAI関連技術を様々な形で応用しているので中々興味深いです。後編はこちら。Pixel 3関連の記事のまとめはこちら

GoogleはPixel 3とPixel 3 XLを、Pixel2がデビューしてからほぼ1年後に発表しました。Pixel 3は5.5インチ、Pixel 3 XLは6.3インチです。Pixel 3はPixel 2より大きなディスプレイを搭載していますが、Pixel2がそれぞれ5インチおよび6インチだった事を考えると、ほぼ同じサイズと重量を維持しています。

デュアルカメラやトリプルカメラ搭載のスマートフォンが主流の現在でも、Pixel 3は両モデルとも背面カメラはシングルです。28mm相当のデュアルピクセルオートフォーカスと12.2MPセンサー、Pixel 2とPixel 2 XLと同じF1.8絞りです。しかし、前面カメラは２つ搭載されています。複数人で自撮りする場面に特化した19mm相当、固定フォーカスの8MP F2.2。および28mm相当の位相差オートフォーカスの8MP F1.8。

しかし、最近話題になっているように、注目すべき機能はカメラの数のようなハードウェアではなく、ソフトウェアによる計算で実現されています。ただ1つのメインカメラと連携し、Googleはソフトウェアによる計算を様々な場面で用いて、カメラの物理的な限界を大きく引き上げています。そして、このシングルカメラの性能を限界を超えて引き出すGoogleのアプローチには未来への希望があります。1つのカメラをより良くするテクニックは、そのアプローチを用いて、最終的には複数のカメラをより良くするテクニックに進歩する事ができるでしょう。

Pixel 2は、ディティールを最大化し、ノイズを低減するために、最大9フレームの画像を撮影し、それを用いて撮影した写真の補正を行いました。Pixel 3では、これが1ショットあたり最大15フレームを用いた補正が可能になりました。そしてゼロシャッターラグ、あなたが得るショットは貴方がシャッターボタンを押した瞬間のショットです。

訳注）ゼロシャッターラグとは、シャッターにラグ（遅延）が一切存在しない事です。Pixel 2は9枚、Pixel 3は15枚の画像を（シャッターを押す前から）内部に保存しており、シャッターを押す事は「撮影を開始する指示」ではなく、「その時点で内部に保存してある複数枚の画像を元に一枚の写真を合成する指示」になります。故に、シャッターによるラグがゼロ、これがゼロシャッターラグです。

しかし、今のところは以下の制限があります。これらの余分なフレームは、画像を1.2倍以上に拡大したり、非常に暗い環境での撮影時のみに使用されます。後者の機能は「Night Sight」と呼ばれ、非常に暗いシーンでの撮影時にシャッタースピードを長くして光を集めて撮影した複数のフレームを組み合わせる事で実現されています。ここには、被写体が動いていてもピンボケやゴーストが出ないようにする事ができるGoogleの「robust merge(堅牢な融合)」が使用されています。

「合成フィルフラッシュ」と呼ばれる別のソフトウェアによる機能では、ソフトウェアが写真内に人物が写っている事を理解し、フィルフラッシュ効果でその部分の露出を上げます。結果は、通常ならば画面全体が暗くなってしまうような逆光の場面でも、人物だけにフラッシュがあたっていたかのように、しばしば暖かい雰囲気の写真を撮る事ができます。

訳注）フィルフラッシュとは、日本語だと日中シンクロ。逆光が当たって被写体が影になってしまう場面でストロボやレフ板を用いて被写体の光量を背景と同じくらいにしてして撮影する方法の事です。GoogleがPixel 3に搭載している人工知能は、写真内に人物が写っている箇所をセマンティック(画素単位)で特定できるので、あたかも人物だけに光があたっていたかのような効果をソフトウェアで付け加える事ができます。

Googleは超解像度技術を使用して、デジタルズームによる画質不良の問題にも取り組んでいます。Pixel 3は、サブピクセルレベルの解像度で複数のフレームをキャプチャすることで、従来のアプローチより細かいディテールを記録することができます。それはつまり、デジタルズームで光学ズームに匹敵する程の写真品質を可能にするのです。

このSuper Res Zoomアプローチの特に革新的な点は、デモザイク処理(色の補完計算)が必要でなくなることです。Pixel 3は各ピクセル位置で各色がサンプリングされているので、画素レベルで、つまり1ピクセル単位で色情報を抽出できるのです。デモザイク処理をしないと言う事はノイズの少ないシャープな画像を実現できると言う事です。

訳注）デジタルズームは強引に写真を引き伸ばしているだけなので、通常、引き延ばして足りなくなった部分の画素は回りの画素から計算して色を補完(デモザイク処理と言います)します。しかし、Pixel 3では手ブレを利用して複数のフレームを微妙にずらして撮影する事により、より細かいレベルで画素情報を保持しており、ズーム時に実際の画素から得た色情報で補正ができるのです。これがレンズだけでも10万円以上するようなデジタル一眼レフカメラに匹敵する品質と言われるSuper Res Zoomです。

Google Pixel 3の公式サンプル画像

HDR +、手ブレが発生しないバースト撮影

Learning based Portrait Mode、人工知能が前面と背景の区別をしっかり行っている

robust merge、動きのある物体でもゴーストを発生させない

synthetic fill-flash、逆光でも人物を柔らかい光で包みこむ

Night Sight、暗い場面でも明るく撮影できる

motion photos機能を使う際は、新しいTop Shot機能が利用可能になりました。Pixel 3はシャッターを押す前でも常に画像を撮影しつづけており、人工知能が一連の画像の中からベストショットを選択し、提案します。

訳注）motion photosは、静止画像ではなく動きのある動画を撮影し、それをネット上で共有しやすい形にする機能です。Top Shotはおそらく、Google Clipsで培われた機能です。Google Clipsは日本未発売ですが人工知能がシャッターチャンスを認識して自動で撮影するスマートカメラです。

ポートレートモードも改善されています。Googleは、Pixel 3の深度マッピングが従来の手法より優れていると主張しています。新しい機械学習ベースのアプローチは、背景と前景のオブジェクトを区別する事に優れています。その結果、深度マップのエラーが少なくなり、フレーム全体でより均一なブラー(ボカシ)が得られ、ピントが合っている領域とピントが合っていない領域の境目がより自然になります。

また、継続的に被写体を追跡する事が可能になりました – 被写体をタップすると、カメラは静止画やビデオ撮影時に被写体を追跡し、焦点を維持します。

写真以外の改良では、Pixel 3と3 XLは防水・防塵規格でIP68の格付けを取得し、より堅牢な防水性を取得しました。

訳注）IP68は、最新のiPhoneの高い方、iPhone XSやiPhone XS Maxと同等です。AppleはiPhoneはビールやジュースがかかってしまっても大丈夫！とインパクトのあるCMを展開していますがIP68は「完全な防塵構造で水面下での使用が可能」の定義です。

そして今年は、昨年のPixel 2 XLの視野角と色相シフトの問題はありません。これまでの私たちが使用した限り、Pixel 3のディスプレイは、私たちが見た中で最高の状態で表示されています。

Pixel 3とPixel 3 XLは、どちらも64GB版と128GB版が提供されます。カラーバリエーションはJust Black、Clearly White、Not Pinkの3種類です。Pixel 3の価格は$799ドル～、Pixel 3 XLの価格は$899ドル～となっています。

(後編に続きます)