MobileNetV3:次世代のオンデバイス視覚モデル(1/3)

１．MobileNetV3:次世代のオンデバイス視覚モデル(1/3)まとめ

・スマートフォンなどのデバイス上で実行される事が前提のニューラルネットワークMobileNetV3の発表
・オンデバイスでの実行に最適化されているがMobileNetV2までの手動設計ではなくAutoMLベースモデル
・モバイルCPU上でMobileNetV3はMobileNetV2の2倍の速度で同等の精度を達成している

２．MobileNetV3とは？

以下、ai.googleblog.comより「Introducing the Next Generation of On-Device Vision Models: MobileNetV3 and MobileNetEdgeTPU」の意訳です。元記事は2019年11月13日、Andrew HowardさんとSuyog Guptaさんによる投稿です。

オンデバイス機械学習(ML)、すなわち、機械学習をクラウドにデータを送って実行するのではなく、スマートフォンなどのデバイス上で直接実行する事は、プライバシーを保護し、即時に利用可能で応答が早いインテリジェンスなソフトを実現するために不可欠な構成要素です。

オンデバイスで機械学習を実行するためには消費電力を抑える必要があり、このニーズは電力消費をわずか数ミリワットに抑えながら、毎秒数十億の数学的な演算を実行できるアルゴリズム効率の高いニューラルネットワークモデルとハードウェアの開発を促進しました。

最近発売されたGoogleのスマートフォンであるGoogle Pixel 4はこの傾向を実証するもので、Edge TPUアーキテクチャの実例としてのPixel Neural Core(エッジコンピューティングデバイス用のGoogleの機械学習アクセラレーター)を搭載し、Pixel 4の優れたユーザ体験(フェイスロック解除、より高速なGoogleアシスタント、AIを用いた独自のカメラ機能など)を実現しています。

同様に、MobileNetなどのオンデバイスで実行する事に最適化されたアルゴリズムは、モバイル上で行う視覚に関わるアプリケーション(モバイルビジョンアプリケーション)用にコンパクトで効率的なニューラルネットワークモデルを提供しており、デバイス上のMLを実現する際に不可欠です。

本日、「MobileNetV3」及び「Pixel 4に搭載されたEdge TPUに最適化したMobileNetEdgeTPUモデル」のソースコードとチェックポイントを喜びをもって発表します。

これらのモデルは、ハードウェア対応AutoML技術の最新の進歩と、アーキテクチャ設計のいくつかの進歩の集大成です。モバイルCPU上で、MobileNetV3はMobileNetV2の2倍の速度で同等の精度を備えており、モバイルコンピュータービジョンネットワークの最先端技術の進歩となります。

Pixel 4 Edge TPUハードウェアアクセラレータでは、MobileNetEdgeTPUモデルがモデルの精度を向上させ、同時にランタイムと消費電力を削減することにより、境界をさらに広げます。

MobileNetV3の構築
手動で設計された以前のバージョンのMobileNetとは対照的に、MobileNetV3はAutoMLを使って、モバイルコンピュータービジョンタスクに適したモデル用の探索スペースから可能な限り最高のアーキテクチャを見つけました。

探索スペースを最も効果的に活用するために、MnasNetとNetAdaptの2つのテクニックを順番に使用しています。まず、MnasNetを使用して粗くアーキテクチャを検索します。MnasNetは、強化学習を使用して、個別の選択肢から最適な構成を選択します。次に、NetAdaptを使用してアーキテクチャを微調整します。NetAdaptは、使用率の低いアクティベーションチャネルを小さく減少させていく補完的な手法です。

様々な条件下で最高のパフォーマンスを提供するために、大規模モデルと小規模モデルの両方を作成しました。

Google Pixel 4 CPUを使用したImageNet分類タスクでのモバイルモデルの精度と応答速度の比較。