AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)

１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)まとめ

・AutoML-Zeroは探索空間が非常にまばらになり正確に動作するアルゴリズムが少なくなるケースがある
・適切な時間内に解が見つからない可能性もあるが進化速度が数万倍速くなる可能性もある
・このような状態ではあるが進化的探索により時間が経過するにつれて効果的な手法が発見された

２．AutoML-Zeroの進化の過程

以下、ai.googleblog.comより「AutoML-Zero: Evolving Code that Learns」の意訳です。元記事の投稿は2020年7月9日、Esteban RealさんとChen Liangさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Srinivasan Venkataraman on Unsplash

困難な探索空間の探索
AutoML-Zeroは、以前の多くのAutoML研究とは異なり、探索空間が非常にまばらになります。正確に動作するアルゴリズムは約1/1012程度に稀になる場合があります。

これは、アルゴリズムに提供される基礎となる部品が非常に細かい単位であるためです。これらの部品は変数の割り当て、加算、行列乗算などの基本的な演算のみです。

このような環境でランダム探索を行うと、適切な時間内に解が見つからない可能性がありますが、私達の測定によると、進化速度が数万倍速くなる可能性があります。

アルゴリズムを時々切り替える複数のマシンに分散して探索を実行しました。(現実世界での行動の切り替えに類似させています)

また、子アルゴリズムを評価するために小さな代替分類タスクを構築しました。この高度に最適化されたコードを使って、子アルゴリズムの評価を実行しています。

探索空間がまばらであるにもかかわらず、進化的探索では、時間が経過するにつれて、より複雑で効果的な手法が発見されます。

最初に、数字が固定された重みを持つ線形モデルを表す最も単純なアルゴリズムが出現します。

やがて、確率勾配降下法(SGD:Stochastic Gradient Descent)が、勾配自体は部品として提供されていないにもかかわらず、重みを学習するために発明されました。

当初は欠陥がありましたが、SGDは比較的迅速に修正され、予測および学習アルゴリズムに対する一連の改善が開始されました。

私達の簡易シナリオの中で、本手法は研究コミュニティ内で役立つことが知られているいくつかの概念を発見しています。最終的に、私達のアプローチは、人間が設計した同等の複雑を持つデザインのモデルを凌駕するパフォーマンスを持つモデルを構築することに成功しています。

進化実験の進捗状況
時間の経過とともに、左から右に向かって、アルゴリズムがより複雑でより正確になることがわかります。

進化したアルゴリズム
上の図には、この方法で作成された最も進化したアルゴリズムが含まれています。この最後のアルゴリズムには、データ水増し用のノイズ注入、バイリニアモデル(bilinear model)、勾配正規化(gradient normalization)、および加重平均などの技法が含まれ、これらのパフォーマンス改善は、初見のデータセットにも転移できます。

私達の論文では、進化したコードの様々な行がこれらの各手法をどのように実装しているかを説明し、それらのコードを消去する事でそのコードが担っている事が何かであるかを検証しています(ablation studies)。

「生息地(the habitat)」を制御することで進化的探索の方向性のコントロールが可能であることを、より多くの実験を通じて示しました。生息地とは、進化過程で各アルゴリズムの適応力を評価する場所(タスク)です。

例えば、データ量を減らすと、ノイズの多いReLUが出現し、これは正規化に役立ちます。または、学習ステップの数を減らすと、学習率の減衰(Learning rate decay)が出現し、収束が速くなります。

これらのようなターゲットを絞った発見は重要です。
自動で発明した機械が金づちと縫い針を持っている事は興味深い事かもしれませんが、釘を示すと金づちを備え、糸を示すと針を備えてくれる方がはるかに興味深いです。

私達の研究の例では、ノイズの多いReLU(金づち)は、データ(釘)がほとんどないときに発見され、学習ステップが少ないときに学習率が減衰しました。

結論
今回の研究は予備的な作業であると考えています。根本的に新しいアルゴリズムに進化する事はまだ出来ていませんが、進化したアルゴリズムが探索空間内に存在する単純なニューラルネットワークを超えることができたのは勇気づけられることです。

現在、探索プロセスにはかなりの計算量が必要となります。※
今後数年間で使用可能なハードウェアが拡大し、探索方法がより効率的になるにつれて、探索空間がより包括的になり、探索結果が向上する可能性があります。私達がAutoML-Zeroの理解を深めるにつれ、新しい機械学習アルゴリズムを発見する可能性が高まる事に興奮しています。
(※2019年の実験の電力消費量は、購入した再生可能エネルギー量と一致しています)

謝辞
共著者であるDavid R. SoとQuoc V. Leに感謝します。プロジェクト中の議論や論文の執筆を通じて助力を頂いた多くの皆さん、Samy Bengio, Vincent Vanhoucke, Doug Eck, Charles Sutton, Yanping Huang, Jacques Pienaar, Jeff Dean及び、特にGabriel Bender, Hanxiao Liu, Rishabh Singh, Chiyuan Zhang,Hieu Phamに感謝します。
また、この投稿でアニメーションを提供してくれたTom Smallにも感謝します。