AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)

１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)まとめ

・少量のコンピューティングで達成された顕著な進歩の測定に力を注ぐことが重要
・今後も効率的な最新技術を引き続き追跡し、視覚と翻訳タスク以外も追加して行く予定
・未掲載のSOTAについてはgithubから提出する事を研究コミュニティに推奨

２．AIのアルゴリズムの効率表

以下、openai.comより「AI and Efficiency」の意訳です。元記事の投稿は2020年5月5日、Danny HernandezさんとTom Brownさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Bill Jelen on Unsplash

主な制限
(1)いくつかのタスクに関してはアルゴリズム効率をごくわずかな事例でしか測定できていません。私達が観察した効率の傾向が他のAIタスクにどの程度一般化されているかは不明です。

体系的な測定により、AIの領域でムーアの法則に相当するアルゴリズムが存在するかどうかを明らかにし、存在する場合はその性質を明らかにすることができます。これは非常に興味深い未解決の質問だと思います。

似たようなタスクでは似たような効率の向上が見られる可能性が高いと思われます。似たようなタスクとは、かなりの進歩が見られ、同規模レベルの投資(計算時間および/または研究者時間)が行われていると見なされているAI研究領域内のタスクを意味します。

(2)AlexNetは多くの進歩を成し遂げたと私達は信じていますが、この分析はその進歩を定量化しようとはしていません。より一般的に言えば、新しい機能が最初に開発されたとき、アルゴリズムのブレークスルーにより、必要なリソースが「完全に実行不可能な規模」から「単に多量の規模」に減少する可能性があります。

新しい機能は、一般に、本研究で観察された「効率の向上」よりも、「全体的な概念の進歩」の大きな部分を占めると考えています。

(3)この分析は、総開発コストではなく、最適化されたモデルの最終的なトレーニング実行コストに焦点を当てています。いくつかのアルゴリズムの改善により、安定してトレーニングし、良好な最終パフォーマンスを得るハイパーパラメータ空間をはるかに大きくすることで、モデルのトレーニングが容易になります。一方、アーキテクチャ探索では、最終的なトレーニングの実行コストと合計トレーニングコストの間のギャップが大きくなります。

(4)効率の傾向がこのまま続く可能性がどの程度推定されるかについては推測していません。結果を提示し、傾向が続く場合の影響について説明するだけです。

測定とAIに関する政策
AIに関連する政策立案は、技術的属性と社会的影響の両方の観点から、AIシステムの測定と評価にさらに重点を置くことによって改善されると信じています。

このような測定を率先する事で、政策立案における重要な問題に光を当てることができると私達は考えています。私達の「AI and Compute」の分析は、学術研究が実業界の研究を複製、再現、拡張できるように、政策立案者は学術界のコンピューティングリソースへの資金を増やすべきであることを示唆しています。

今回の効率に関する分析は、政策立案者がAI機能の導入コストについて正確な直感を身に付けることができることを示唆しています。AIシステムの効率の改善率をより綿密に評価することにより、これらのコストが時間の経過とともにどのように変化するかを示します。

効率追跡研究の今後
言語やゲームなどの分野で最先端(SOTA:State-Of-The-Art)のパフォーマンスを達成するために大規模なコンピューティングが引き続き重要であるのならば、少量のコンピューティングで達成された顕著な進歩の測定(多くの場合、学術機関による貢献)に力を注ぐことが重要です。

意味のある機能に関して最先端のトレーニング効率を達成できるモデルは、規模を拡大して全体的に最高のパフォーマンスを達成する可能性のある有望な候補です。

更に、特定のアルゴリズムによる効率改善を理解するのは容易です。これらは、全ての実験で生成される学習曲線の中の特定の断片であるためです。

また、SOTAの効率の長期的な傾向を測定する事は、アルゴリズムの全体的な進歩を定量的に把握するのに役立つと考えています。私達はハードウェアとアルゴリズムの効率の向上は掛け算で加速していき、有意義な範囲で同様の規模になる可能性がある事を観察しました。これは、AIの進歩速度を測定するための優れたモデルは、ハードウェアとアルゴリズムの両方の観測値を統合する必要があることを示唆しています。

私達の結果は、高レベルの投資(研究者の時間および/または計算機資源)が必要なAIタスクの場合、アルゴリズムの効率化によるメリットがハードウェアの効率(ムーアの法則)からのメリットを上回る可能性があることを示唆しています。

ムーアの法則は、集積回路にわずか64個のトランジスタのみが搭載されていた1965年に提唱されました。この法則ではパーソナルコンピュータやスマートフォンに搭載されているトランジスタの数を素朴に推定します。(iPhone 11には85億個のトランジスタがあります)。

AIのアルゴリズム効率の向上が今後、数十年にわたって指数関数的に向上したとしたら、それは何に繋がるのでしょうか？

私達にもわかりません。

しかし、今回の調査結果が私達にこの質問を促すようになった事は、強力なAIサービスとテクノロジーを備えた未来へのささやかな前進です。

上記の理由から、効率的な最新技術(SOTA)を公開し、引き続き追跡します。視覚と翻訳効率のベンチマーク(ImageNetとWMT14)から始め、時間の経過とともにベンチマークを追加する事を検討しています。

これらのベンチマークには私達が気付いていない効率的なSOTAがあると信じており、研究コミュニティにはgithub(openai / ai-and-efficiency)に提出することをお勧めします。(元の著者と共同研究者にクレジットを与えます)

業界のリーダー、政策立案者、エコノミスト、および潜在的な研究者は皆、AIの進歩をよりよく理解し、どの程度注目し、投資をどの方面に向けるべきかを決定しようとしています。今回の研究のような効率の改善度合いを測定する取り組みは、そのような決定を下すのに役立ちます。

この種の仕事に興味がある場合は、OpenAIのForesightまたはPolicyチームでの求人に応募する事を検討してください。

アルゴリズム効率のSOTA表

（１）AlexNetレベルのパフォーマンス
ImageNetの上位5つの精度79.1%(79.1% top 5 accuracy)

	PUBLICATION	COMPUTE (TFS-DAYS)	REDUCTION FACTOR	ANALYSIS	DATE
1	AlexNet	3.1	1	AI and Efficiency	2012/6/1
2	GoogLeNet	0.71	4.3	AI and Efficiency	2014/9/17
3	MobileNet	0.28	11	AI and Efficiency	2017/4/17
4	ShuffleNet (1x)	0.15	21	AI and Efficiency	2017/7/3
5	ShuffleNet v2 (1x)	0.12	25	AI and Efficiency	2018/6/30
6	EfficientNet (b0)	0.069	44	EfficientNet	2019/5/28

（２）ResNet-50レベルのパフォーマンス
ImageNetの上位5つの精度92.9％(92.9% top 5 accuracy)

	PUBLICATION	COMPUTE (TFS-DAYS)	REDUCTION FACTOR	ANALYSIS	DATE
1	ResNet-50	17	1	AI and Efficiency	2015年1月10日
2	EfficientNet (b1)	0.75	10	EfficientNet	2019年5月28日

（３）Seq2Seqレベルのパフォーマンス
WMT-14EN-FRで34.8BLEU

	PUBLICATION	COMPUTE (TFS-DAYS)	REDUCTION FACTOR	ANALYSIS	DATE
1	Seq2Seq (Ensemble)	465	1	AI and Compute	2014年1月10日
2	Transformer (Base)	8	61	Attention is all you need	2017年1月12日

（４）GNMTレベルのパフォーマンス
WMT-14EN-FRで39.92BLEU

	PUBLICATION	COMPUTE (TFS-DAYS)	REDUCTION FACTOR	ANALYSIS	DATE
1	GNMT	1620	1	Attention is all you need	2016年1月26日
2	Transformer (Big)	181	9	Attention is all you need	2017年1月12日