Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(2/3)

１．Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(2/3)まとめ

・学習は従来の人工ニューラルネットワークと同様で逆伝播を使用して行われる
・スパイクネットワークはMNISTで97.96％の精度を達成し、これは従来のNNに匹敵する性能
・スパイクネットワークは正確だが低速なモードと高速だがやや精度が落ちる２つの挙動を示す

２．スパイキングニューラルネットワークのトレードオフ

以下、ai.googleblog.comより「Project Ihmehimmeli: Temporal Coding in Spiking Neural Networks」の意訳です。元記事は2019年9月18日、Iulia-Maria ComșaさんとKrzysztof Potempaさんによる投稿です。

私たちは最近、時間的コーディングを使用して動く完全接続型スパイキングネットワークの計算機能を実証するモデルを公開し、オープンソース化しました。

私たちのモデルは、生物学的に着想を得たシナプス伝達関数を使用します。シナプスでは、ニューロン膜上の電位は、スパイクが発生するまで着信信号に応じて時間とともに上昇し、徐々に減衰します。

シナプス間の接続の強度は、シナプスの効率を表す接続の「重み」によって制御されます。重要なのは、この定式化により、前シナプス(presynaptic)のスパイク時間と重量に関して、後シナプス(postsynaptic)のスパイク時間の正確な微分が可能になることです。

ネットワークをトレーニングするプロセスは、ニューロン間の重みを調整することで構成されます。これにより、ネットワーク全体のスパイク時間が調整されます。従来の人工ニューラルネットワークと同様に、これは逆伝播を使用して行われます。ネットワークへ時間的参照を提供するために、逆伝播でタイミングも学習される同期パルス(synchronization pulses)を使用しました。

特徴を時間的に符号化して、古典的な機械学習ベンチマークデータでネットワークをトレーニングしました。スパイクネットワークは、ノイズの多いブールロジックの問題を解決する学習に成功し、MNISTで97.96％のテスト精度を達成しました。これは、従来の同じアーキテクチャの完全接続型のニューラルネットワークに匹敵する結果です。ただし、従来のネットワークとは異なり、スパイキングネットワークは一般的に生物学的に妥当なエンコードを使用し、精度のわずかなトレードオフのために、以下で詳述するようにエネルギー効率の高い方法で結果を計算できます。

MNISTでスパイキングネットワークをトレーニングしている時に、ニューラルネットワークが2タイプの挙動を示し、自発的に挙動を変更する事を観察しました。トレーニングの初期段階には、ネットワークは決定を下す前にほとんど全てのニューロンが発火する、遅くとも非常に正確な挙動を示しました。トレーニングの後期段階では、ネットワークは高速でも精度がやや劣る挙動に自発的に移行しました。明示的に最適化していたわけではないため、この動作は興味深いものでした。このように、スパイクネットワークは、ある意味、「審議的」に協調する事もできますし、速攻で決断を下すこともできます。これは、人間の意思決定における速度と精度のトレードオフを連想させます。

同じMNIST数字を分類する低速(deliberative:審議)ネットワーク(上)と高速(impulsive:衝動)ネットワーク(下)。図は、個々のレイヤーの個々のニューロンのスパイク時間のラスタープロットを示し、同期パルスはオレンジ色で示されています。この例では、両方のネットワークが数字を正しく分類しています。全体として、「低速」ネットワークは「高速」ネットワークよりも高い精度を達成します。