モジュラーディープラーニング用の再帰的スケッチ(2/2)

１．モジュラーディープラーニング用の再帰的スケッチ(2/2)まとめ

・モジュラーディープネットワークは複数の独立したニューラルネットワークから構成される
・モジュラーディープネットワークに対応するスケッチは、再帰的なメカニズムで対処する
・スケッチはモデルの解釈可能性や未見オブジェクトの一般化能力に繋がる可能性がある

２．再帰的スケッチとは？

以下、ai.googleblog.comより「Recursive Sketches for Modular Deep Learning」の意訳です。元記事の投稿は2019年9月10日、Badih GhaziさんとJoshua R. Wangさんによる投稿です。

ニューラルネットワークのモジュラリティ
モジュラーディープネットワークは、複数の独立したニューラルネットワーク(モジュール)から構成されます。これらのモジュールは、出力を介してのみ通信し、この出力は別のモジュールの入力として機能します。この概念は、Neural Modular Networks、Capsule Neural Networks、PathNetなどのいくつかの実践的なアーキテクチャに影響を与えました。

また、他の標準的なアーキテクチャを分割してモジュラーネットワークとして扱うために、このアプローチを適用することもできます。

例えば、畳み込みニューラルネットワーク(CNN)は、従来、モジュール方式で動作すると理解されています。下位レイヤーで基本的な概念と属性を検出し、上位レイヤーでより複雑なオブジェクトを検出するように構築されています。このように考えると、各畳み込み処理は各モジュールに対応しています。モジュラーネットワークの簡単なイメージを以下に示します。

これは、画像処理用のモジュラーネットワークのイメージ図です。データは、下部から青いボックスで表されたモジュールを通って上に流れていきます。下層のモジュールは画像の縁などのオブジェクトの基本的な形状の認識を行っており、上層のモジュールが人間や猫などのより複雑なオブジェクトに対応している事に注意してください。また、この架空のモジュラーネットワークでは、faceモジュールの出力は十分に汎用的であり、humanモジュールとcatモジュールの両方で使用できていることに注意してください。

スケッチの要件
これらのモジュラーネットワークに対するアプローチを最適化するために、ネットワークスケッチが満たすべきいくつかの望ましい特性を特定しました。

(1)スケッチ間の類似性
2つの無関係なネットワーク操作のスケッチ(モジュール性の観点であっても属性ベクトルの観点であっても)は非常に異なるはずです。一方、2つの類似したネットワーク操作のスケッチは非常に類似しているはずです。

(2)属性の回復
属性ベクトル、例えば、グラフの任意のノードのアクティベーションは、トップレベルのスケッチからほぼ回復できます。

(3)要約統計
類似したオブジェクトが複数ある場合、それらに関する要約統計を復元できます。例えば、画像に複数の猫がいる場合、猫の数を数える事ができます。訓練時には猫の数に関する質問を知らなくともこの質問に対応したい事に注意してください。

(4)優雅な消去(Graceful Erasure)
最上位のスケッチの添え字(suffix)を消去しても、その属性は維持されます。(ただし、エラーは増加します)。

(5)ネットワークの回復
十分な数のペア(入力、スケッチ)があれば、ネットワークのエッジの配線とスケッチ機能をほぼ回復できます。

これは、スケッチとスケッチの類似属性を漫画化した2D描写です。各ベクトルはスケッチを表しています。関連するスケッチは一緒にクラスター化される可能性が高くなります。

スケッチのメカニズム
私達が提案するスケッチメカニズムは、事前に訓練されたモジュラーネットワークに適用できます。これはネットワークの動作を要約した単一のトップレベルのスケッチを作成し、同時に前述の好ましい要件を全て満たします。

これがどのように行われるかを理解するには、最初に1層ネットワークを検討することが役立ちます。この場合、特定のノードに関連するすべての情報が2つの個別のサブスペースに「パック」されていることを確認します。1つはノード自体に対応し、もう1つは関連モジュールに対応します。

適切な投影法を使用すると、最初のサブスペースでノードの属性を回復でき、2番目のサブスペースで要約統計をすばやく推定できます。

両方のサブスペースは、前述のスケッチ間類似性プロパティの確認に役立ちます。関連する全ての部分空間が独立してランダムに選択された場合、これらのプロパティが保持されることをデモしています。

もちろん、このアイデアを複数の層を持つネットワークに拡張する場合は、特別な注意が必要です。複数層を持つネットワークは、再帰的なスケッチメカニズムで対処します。再帰的な性質を持つため、これらのスケッチを「展開」してサブコンポーネントを識別し、複雑なネットワーク構造も捕捉できます。

最後に、ネットワークの回復機能を証明するために、セットアップに合わせた辞書学習アルゴリズムを使用します。ネットワークアーキテクチャと一緒にスケッチメカニズムを構成するランダムな部分空間は、十分な数の(入力、スケッチ)ペアから復元できます。

今後の方向性
ネットワークの動作を簡潔に要約するという問題は、モデルの解釈可能性の問題と密接に関連しているようです。スケッチ研究のアイデアがこの領域に適用できるかどうかを調査することは興味深い事でしょう。

スケッチをリポジトリに整理し、暗黙的に「ナレッジグラフ」を形成し、パターンを識別してすばやく取得できるようにすることもできます。更に、私達のスケッチメカニズムは、スケッチリポジトリに新しいモジュールをシームレスに追加できます。この機能が、アーキテクチャ検索や進化するネットワークトポロジへのアプリケーションとして応用できるかどうかを調べるのは興味深い事でしょう。

最後に、スケッチは、以前に遭遇した情報をメモリに整理する方法として見なす事ができます。例えば、同じモジュールまたは属性を共有する画像は、スケッチのサブコンポーネントを共有します。これは、非常に高いレベルで、人間が事前知識を使用してオブジェクトを認識し、見た事がないオブジェクトも一般化して扱う事ができる能力に似ています。

謝辞
この研究は、Badih Ghazi、Rina Panigrahy、Joshua R. Wangの共同研究でした。