Pixel Visual Core:Pixelスマートフォンのための専用ハードウェア

１．Pixel Visual Core:Pixelスマートフォンのための専用ハードウェアまとめ

・Pixel 2やPixel 3はPixel Visual Coreという専用のハードウェアを搭載している
・Pixel Visual Coreはモバイル用の電源でも1秒間に3兆回を超える機械学習用の演算が可能
・Pixel Visual CoreによりHDR+も通常のプロセッサに比べて5倍速く、1/10以下の消費電力で実行可能

２．Pixel Visual Coreとは？

以下、www.blog.googleより「Pixel Visual Core: image processing and machine learning on Pixel 2」の意訳です。元記事は2017年10月17日、Ofer ShachamさんとMasumi Reyndersさんによる投稿です。Pixel 2についての記事なので少し古いのですが、Pixel Visual CoreはPixel 3のTop Shotでも使われていると明言されている技術です。HDR+の解説はこちら。

新しいPixel 2のカメラには、素晴らしいハードウェア、ソフトウェア、および機械学習が満載されているので、あなたが素晴らしい写真やビデオを撮るためにする必要がある事は撮影する場所を確保してシャッターを押すだけです。素晴らしい写真を撮る手助けをしてくれるテクノロジーの1つはHDR+です。これは、薄暗い風景から非常に晴れた空まで、極端に明るさが異なるシーンでも優れた写真を撮影することを可能にします。

私達はPixel2のアプリケーションプロセッサを効率的に使用するためのアルゴリズムを何年も前から開発しています。Pixel2はバックグラウンドでHDR+をインテリジェントに処理できるので美しい画像を生成できるのです。同時に、HDR+をサードパーティの写真アプリケーション経由で使用できるようにするために、既存のハードウェアをはるかに超える大幅に高いコンピューティングパワーをスマートフォンで可能にするハードウェアの開発にも取り組んでいます。

私達は、HDR+を拡張し、最も困難な画像処理および機械学習アプリケーションを処理し、待ち時間を減らし、さらに消費電力の効率を高めるために、Pixel Visual Coreを開発ました。Pixel Visual Coreは、一般消費者向け製品に搭載する事を目的としたGoogle初のカスタムデザインのコプロセッサです。これは全てのPixel 2に組み込まれており、今後数カ月の間に、ソフトウェアアップデートにより有効化され、より多くのアプリケーションでPixel 2のカメラを使ってHDR+品質の写真を撮影する事が出来るようになります。

Pixel Visual Coreの拡大イメージ

最新技術が大好きな方たちのためにもう少し詳しく説明しましょう。Pixel Visual Coreの中心となるのは、Googleが設計したIPU(Image Processing Unit)です。完全にプログラム可能で、画像処理に特化し、ゼロから設計されたプロセッサで、低電力でも最大のパフォーマンスが発揮できるようになっています。それぞれ512個の算術論理演算装置(ALU)を備える8つのGoogle設計カスタムコアを搭載するIPUは、モバイル用の電源でも1秒間に3兆回を超える演算が可能なパフォーマンスを提供します。

Pixel Visual Coreを使用すると、HDR+はアプリケーションプロセッサ(AP)上で実行するよりも5倍速く、1/10以下の消費電力で実行できます。IPUの効率を左右する重要な要素は、ハードウェアとソフトウェアの密接な結合です。Googleのソフトウェアは、一般的なプロセッサよりもハードウェアの詳細を制御しています。ソフトウェアでより多くの制御をすればハードウェアをより単純でより効率的にできますが、それはまたIPUが一般的なプログラミング言語を使用してプログラム制御することを難しくします。これを回避するために、IPUは開発者とコンパイラの両方の負担を軽減するドメイン固有の言語を利用します。画像処理にはHalide、機械学習にはTensorFlowです。カスタムのGoogle製コンパイラが、基盤となるハードウェア用にコードを最適化します。

今後数週間のうちに、Android Oreo 8.1(MR1)の開発者向けプレビューで、Pixel Visual Coreを開発者向けオプションとして有効にします。その後、全てのサードパーティ製アプリケーションがAndroid Camera APIを使用して、Pixel 2のHDR+テクノロジにアクセスできるようにします。私達はPixel 2カメラで撮影した美しいHDR+写真をお気に入りの写真アプリで利用できるようになるのを待つなんてもうできません。

左：サードパーティー製のカメラアプリで撮影した写真。右：HDR+で撮影した写真

HDR+は、Pixel Visual Core上で動作する最初のアプリケーションです。特に、Pixel Visual Coreはプログラム可能なので、私達は既に次のアプリケーションの準備を始めています。素晴らしいことに、私達がより多くの機械学習アプリケーションや画像アプリケーションをPixel Visual Coreに移植すれば、それらはソフトウェアアップデートの形でPixel 2の機能を継続的に向上する事に繋がるのです。ですから、目を離さないでいてくださいね！

３．Pixel Visual Core:Pixelスマートフォンのための専用ハードウェア感想

記事内で書かれている「Pixel 2の機能を継続的に向上」の件は、正に「Night Sight:Pixelスマートフォンで暗いシーンを綺麗に撮影する機能」で実現しています。Night SightはPixel 3の発売後にリリース予定と聞いた時は「なんだPixel 3の発売に間に合わなかったのか」と思ったのですが、機能的な制限はあるもののPixel 1, Pixel 2, Pixel 3の全機種に対応したと聞いて私が悪うございましたと反省しました。

それと、Pixelスマートフォンへの最適化って、MnasNet(モバイル版のAutoML)の記事でも読んだ記憶があります。特定のハードウェアでの実行を最適化ってPixel Visual Coreの事を言ってたのですね。ハードウェアスペックだけ読んでいてはわからないパフォーマンスの違いがあるのでしょうね。