EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)

１．EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)まとめ

・EfficientNetのベースネットワークはAutoML MNASフレームワークによって開発された
・EfficientNetモデルは従来のCNNよりも高い精度と効率を達成しつつパラメータのサイズとFLOPSを削減
・モデル効率を大幅に向上させるため将来のコンピュータビジョンタスクの基盤となる可能性もある

２．EfficientNetの効率

以下、ai.googleblog.comより「EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling」の意訳です。元記事は2019年5月29日、Mingxing TanさんとQuoc V. Leさんによる投稿です。

EfficientNetの構造
モデルをスケールアップする事がどれほど有効かは、ベースにするネットワークにも大きく依存します。

パフォーマンスを更に向上させるため、AutoML MNASフレームワークを使用してニューラルアーキテクチャ探索を実行し、新しいベースラインネットワークを開発しました。このネットワークはFLOPS、精度と効率の両方を最適化します。

結果として得られたネットワークはMBConv(mobile inverted bottleneck convolution)を使用しています。MobileNetV2およびMnasNetと似ていますが、FLOP予算が増えるため、わずかに大きくなります。次に、ベースラインネットワークをスケールアップして、EfficientNetsと呼ばれる一連のモデル群を得ました。

私達のベースラインネットワークEfficientNet-B0の構造はシンプルでクリーンなため、拡張や一般化が容易です。

EfficientNetのパフォーマンス
ImageNetを使って他の既存のCNNとEfficientNetsを比較しました。一般に、EfficientNetモデルは既存のCNNよりも高い精度と高い効率の両方を達成し、パラメータのサイズとFLOPSを1桁削減します。例えば、高精度のEfficientNet-B7はImageNetで84.4％のtop-1 / 97.1％のtop-5精度を達成しながら、従来のGpipeよりCPU inferenceは8.4倍小さく、6.1倍高速です。広く使われているResNet-50と比較すると、私達のEfficientNet-B4は同じFLOPSを使用しながら、ResNet-50の76.3%のTop-1精度を82.6％(+6.3%)に向上させました。

モデルサイズと精度の比較
EfficientNet-B0はAutoML MNASによって開発されたベースラインネットワークです。Efficient-B1からB7はベースラインネットワークをスケールアップすることによって得られたネットワークです。特に、EfficientNet-B7は、最先端の84.4%top-1 / 97.1%top-5精度を実現しながら、既存の最良のCNNよりも8.4倍小さくなっています。

EfficientNetはImageNet上ではうまく機能しましたが、他のデータセットに転移できればより有用です。これを確かめるために、8つの広く使われているデータセットでEfficientNetsの転移学習のテストを実施しました。

EfficientNetは、CIFAR-100(91.7％)やFlowers(98.8％)など、8つのデータセットのうち5つで最先端の精度を達成し、1桁少ないパラメータ(最大21倍のパラメータ削減)を実現しました。私達のEfficientNetsは上手く転移学習できる事が示唆されます。

モデル効率を大幅に向上させることで、EfficientNetが将来のコンピュータビジョンタスクの新しい基盤として機能する可能性があると考えています。それゆえ、私達は全てのEfficientNetモデルをオープンソース化しました。EfficientNetがより大きな機械学習コミュニティに役立つことを願っています。ソースコードとTPUトレーニング用のスクリプトはgithubにあります。

謝辞
Hongkun Yu, Ruoming Pang, Vijay Vasudevan, Alok Aggarwal, Barret Zoph, Xianzhi Du, Xiaodan Song, Samy Bengio, Jeff Dean, そしてGoogle Brainチームに感謝します。