Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(3/3)

１．Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(3/3)まとめ

・スパイクネットワークが数字の特徴をどのように学習したかも視覚化できた
・他にも生物にヒントを得た様々なニューラルネットワークを研究中
・人工昆虫の歩行制御や軸索の成長の仕組みを真似る研究が行われている

２．スパイキングニューラルネットワークのトレードオフ

以下、ai.googleblog.comより「Project Ihmehimmeli: Temporal Coding in Spiking Neural Networks」の意訳です。元記事は2019年9月18日、Iulia-Maria ComșaさんとKrzysztof Potempaさんによる投稿です。

また、空白の入力画像を徐々に調整する事でターゲット出力ニューロンの応答を最大化し、スパイキングネットワークによって学習された「数字の特徴」を回復することができました。これは、スパイキングネットワークが人間にとって「異質」で理解できない「数字の特徴」を学習しているわけではなく、人間と同じように「数字の特徴」を学習している事を示しています。解釈可能な表現を持つことは、ネットワークが真に学習していることを理解し、入力の小さな変化が結果に大きな変化を引き起こすことを防ぐために重要です。

ネットワークが数字0、1、3、7を「想像」する方法。

今回の研究は、プロジェクトIhmehimmeliが、コンピューティングの可能性を探求するために生物にヒントを得た最初のステップの一例です。

他の進行中の研究には、仮想環境で人工昆虫の歩行を制御するために、スパイキングネットワークを時間コーディングでトレーニングしています。また、神経系の発育からインスピレーションを得て、軸索の成長(axonal growth)を利用して2Dスパイクグリッドを訓練し、単語を予測しています。

私達の目標は、大自然が生物の知性を進化させたメカニズムについてよりよく親しむ事です。それは様々な内部状態と状態遷移を持つ時間ベースの人工ニューラルネットワークの探索を可能にします。

謝辞
本稿で説明している成果は、Iulia Comsa, Krzysztof Potempa, Luca Versari, Thomas Fischbacher, Andrea Gesmundo そして Jyrki Alakuijalaによって達成されました。 Googleの同僚から受けた本研究に関するすべての議論とフィードバックに感謝します。