CVPR2018のオンデバイスヴィジュアルアプリケーションコンペの紹介

１．CVPR2018のオンデバイスヴィジュアルアプリケーションコンペの紹介まとめ

・CVPR2018でモバイルアプリの画像認識のコンペが実施される
・精度だけでなく反応速度も適切に評価される事が従来との違い
・評価用のツールは参加者にGoogleから提供される

２．オンデバイスで実行する視覚関連人工知能開発コンペ

ここ数年の間、ディープラーニングを用いたモバイル用途のヴィジュアルアプリケーションはMobileNetや整数量子化（integer quantization:去年末にGoogleが発表した整数のみの算術演算を使用して実行する推論手法)などワクワクするような進化を遂げている。

これらのイノベーションは、現実世界で使われるモバイルアプリケーションとして、パソコンに比べると制限された性能や劣悪なネット接続環境でも良好に動作する事が求められる。しかしながら、ディープラーニングを使ったシステムの予測精度を測定するシステムや基準は既に十分に確立しているが、レイテンシ（動作速度や応答速度）は非常に測定が難しく、測定基準がまだ確立されていない。このレイテンシを測定するシステムと基準の欠如は高性能なモバイルアプリケーションの開発の障害となっている。

本日、Googleは、CVPR2018(コンピュータビジョンとパターン認識の国際会議)で開催されるワークショップ(Low-Power Image Recognition Challenge Workshop)の一部として、オンデバイスヴィジュアルインテリジェンスチャレンジ(OVIC)を発表した。OVICでは、イノベーションを促進するために二つの重要な機能が提供される。レイテンシを測定するための基準(Unified Metric)と、その評価プラットフォーム(OVIC’s Evaluation Platform)である。

（１）Unified Metricとは？
指定されたイメージを33ms以内に正しく分類できた数を評価する測定基準。33msであれば30フレーム秒のライブビデオをリアルタイムに処理し、使用者にストレスを与えず済む。OVIC以前は、実機でのテストは実行環境の影響を受けてしまうため、積和演算（MAC）の回数などを元にレイテンシを評価していたが、実際の性能とは大きなズレが発生する事があった。

（２）OVIC’s Evaluation Platformとは？
最近のモバイルアプリケーションの開発には、モバイルCPU用の最適化されたカーネル、軽量でポータブルなモデルなど、ますます多くの機能を備えた便利なモバイル開発プラットフォームが使われている。しかし、これらの便利な大規模プラットフォームは、誰でも使用できるような安価なものではない。

この現状を念頭に、Googleは多くの研究コミュニティが利用できるモバイル開発と評価を行うOVICの評価プラットフォームをリリースした。

・効率的な推論のためにTensorFlowモデルを最適化するためのTOCOコンパイラ
・モバイル開発のためのTensorFlow Lite推論エンジン
・あらゆるAndroid搭載端末でローカルに実行できるベンチマーク用SDK
・浮動小数点および整数量子化モードで推論を実行するサンプルモデル
・コンペ参加者が利用可能なPixel携帯電話で信頼性の高い測定が可能なGoogleのベンチマークツール

コンペ参加者は、OVICで提供されているこれらのツールを使用して、カーネルの最適化、待ち時間/電力測定デバイス、またはそれらを駆動するためのフレームワークの設計について心配することなく、Unified Metricの測定を実施できる。