WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)

１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)まとめ

・特定の生物は本能により生まれながらにして天敵から逃れる行動をとる事が出来る
・ニューラルネットワーク探索により見つかったモデルの一部は画像処理タスクで同様な傾向を示している
・本能のように特定のタスクを実行できる能力を生まれつき備えたモデルを探索できないか研究されている

２．WANNとは？

以下、ai.googleblog.comより「Exploring Weight Agnostic Neural Networks」の意訳です。元記事は2019年8月27日、Adam GaierさんとDavid Haさんによる投稿です。脳の動きからAIの動きを類推するとても面白い研究です。David HaさんはhardmaruのアカウントでTwitterで活躍されているGoogle Research, Tokyo所属の方だったと思います。

画像分類であれ強化学習であれ、特定のタスクを達成するためにニューラルネットワークをトレーニングする場合、通常はネットワーク内の各接続に関連付けられた重みのセットを調整します。

大幅な進歩を見せているニューラルネットワークを作成する別の成功したアプローチは、ニューラルアーキテクチャの自動探索です。これは、畳み込みネットワークのコンポーネントやトランスフォーマのブロックなど、人間が手作業で設計したコンポーネントを組み合わせてニューラルネットワークアーキテクチャを自動で構築します。

ディープな畳み込みネットワークなど、これらのコンポーネントで構築されたニューラルネットワークアーキテクチャは、画像処理タスクに関して強い帰納バイアス(Inductive bias)を持ち、重みがランダムに初期化された場合でさえ実行できることが示されています。

ニューラルアーキテクチャ探索は、身近なタスクに対して既知の帰納バイアスを持つ手作業のコンポーネントを配置する新しい方法を生成します。しかし、様々なタスクに対して、このような帰納バイアスを予め持つ新しいニューラルネットワークアーキテクチャを自動検出する方法はあまり進展していません。

nature vs. nurture論争(訳注：子供は生まれか、育ちか？論争。子どもの性格や能力を決めるのは遺伝的要因なのか子育ての環境なのかという論争)に、これらの有用なコンポーネントの類似を見ることができます。

生物の特定の早熟種(訳注：生まれながらにして、天敵から逃れるように行動する種)が学習せずに複雑な運動および感覚タスクを実行できるように、おそらくトレーニングなしでも特定のタスクを実行できるネットワークアーキテクチャは構築できます。

もちろん、これらの自然な(そして、類推により人工的な)ニューラルネットワークは、トレーニングによって更に性能が改善されますが、学習しなくても機能する能力は、彼らがタスクに適したバイアスを持っている事を示しています。

「Weight Agnostic Neural Networks」(WANN)では、これらのバイアスを持つ特定のネットワークを検索するための最初のステップを示します。ランダムで共有な重みを使用する場合でも、タスクを実行できる能力をあらかじめ備えている様々なニューラルネットアーキテクチャです。

この研究における私たちの動機は、重みパラメータを学習せずに、ニューラルネットワークアーキテクチャだけで、特定のタスクのソリューションをどの程度まで符号化できるかを問う事です。

このようなニューラルネットワークアーキテクチャを探索することにより、重みパラメータを学習する必要なく、特定の環境内で既に十分に機能するエージェントを提示する事ができます。更に、このフィールドコミュニティの進歩を促すために、より広範な研究コミュニティ向けにWANNの実験を再現するためのコードをオープンソース化しました。

左：2760の重みと接続を備えた、手作業の完全接続ディープニューラルネットワーク。学習アルゴリズムを使用して2760個の重みパラメーターを学習させる事によって、このネットワークはBipedalWalker-v2タスクを実行できるようになります。
右：同じBipedal Walkerタスクを実行できる44の接続を持つ重みに依存しないニューラルネットワークアーキテクチャ。
完全接続ネットワークとは異なり、このWANNは各接続の重みパラメーターをトレーニングする必要なく、そのままタスクを実行できます。実際、トレーニングを簡素化するために、WANNは各重み接続の値が同一または共有されている前提で実行するように設計されており、この共有重みパラメーターがランダムにサンプリングされた値でも機能します。