人工知能を創造するために生物の知能の仕組みを探求する試み(2/6)

１．人工知能を創造するために生物の知能の仕組みを探求する試み(2/6)まとめ

・貢献度分配の問題は、神経科学とAIの双方においておそらく最も大きな未解決の問題の1つ
・生物学的モデルと人工的モデルの大きな相違はニューロンを結ぶシナプスのモデル化部分
・複雑な時間学習機能を実現するためには動的深度の設計を追加する必要があるかもしれない

２．将来のAIに対する生物学的インスピレーション

以下、hai.stanford.eduより「The intertwined quest for understanding biological intelligence and creating artificial intelligence」の意訳です。元記事は2018年12月5日、Surya Ganguliさんによる投稿です。脳科学の用語が頻出しますが、わからない単語は読み飛ばしてしまう事を推奨です。読み難い部分は私の実力不足です。(1/6)からの続きです。(3/6)へ続きます。

教師付き学習を用いたパターン認識タスクで現在のAIシステムが著しい商業的成功を納めたにもかかわらず、私たちが真に人間同等の知性をまねるためにはまだまだ長い道のりがあります。

ここでは私の個人的な見解を概説します。生物学および人工知能の分野が手をつないで前進するかもしれない、幾つかの方向性の抜粋です。これらの方向性は決して網羅的なものではありません。そして、StanfordのHAI(Human-Centered Artificial Intelligence)のブログで、私たちは将来さらに多くのアイデアを探るでしょう。

生物学的にもっともらしい貢献度分配問題

訳注:貢献度分配問題とは(Credit assignment problem)強化学習において報酬を貢献度に応じて分配するにはどうしたら良いかを考える問題です。

貢献度分配の問題は、神経科学とAIの双方において、おそらく最も大きな未解決の問題の1つです。ドラマチックに言えば、あなたがテニスをしていてボールを打ち返すのをミスしたとしましょう。あなたの100兆のシナプスのうちどれに責任がありますか？

そして、特に発生してから数百ミリ秒後に視覚システムを介してエラーが配信される場合、脳はどのようにしてあなたの運動系における正しいシナプスのセットを具体的に見つけて修正するのでしょうか？AIでは、この貢献度分配の問題は多くの場合、バックプロパゲーションによる多層の計算によって解決します。しかし、脳がどのようにこの問題を解決するのかは不明です。

実際の所は、脳は局所的な学習ルールを使ってそれを解くということです。つまり、すべてのシナプスは物理的に利用可能な情報だけを使ってその強さを調整します。近くのシナプス、および報酬や間違いを反映した神経調節入力などです。そのようなローカルシナプスの学習ルールが何であるか、そしてそれらがどのように働くかを解明することはAIの性能に劇的な影響を与える可能性があります。

バックプロパゲーションの通信オーバーヘッドを回避するためにニューロモーフィック・チップ(Neuromorphic chip:脳の構造を模したコンピューターチップ)を使ってやっかいな平行な動作を実現するアイディアも存在します。

しかし、より一般的には、シナプス生理学者、計算神経科学者、およびAI実務家を集めて生物学的にもっともらしい貢献度分配問題を解明すれば、神経科学とAIの両方を悩ませている一般的な未解決問題を正確に特定する進歩に繋がっていくはずです。実験的な知識、理論、そして工学的なノウハウの組み合わせがこの大きな課題にうまく対処するためにおそらく必要です。

シナプスの複雑性の組み込み
生物学的ニューラルモデルと人工的ニューラルモデルとの間の大きな相違は、ニューロンを結ぶシナプスをモデル化する部分にあります。

人工的ニューラルモデルでは、シナプスは単一のスカラー値によってモデル化されます。それはシナプス前ニューロンの入力がシナプス後ニューロンの出力にどのように影響するかを反映する乗法ゲイン係数(電気回路における入力と出力の比)を反映しています。対照的に、あらゆる生物学的シナプスは、その中に非常に複雑な分子シグナル伝達経路を隠しています。

例えば、最近の出来事に関する記憶を司る海馬シナプスはそれぞれ、動的システム全体に影響を与える数百種類の異なる分子の化学反応ネットワークを含んでおり、洗練された時間感覚処理能力を持ちます。

このような複雑さを見て、理論家やエンジニアは進化の過程で偶然に起こった生物学的な乱雑さと考えて、それを単に無視したくなるかもしれません。しかし、理論的な研究は、このようなシナプスの複雑さが実際に学習と記憶に不可欠であるかもしれないことを示しています。

実際、シナプスが有限のダイナミックレンジを有するメモリのネットワークモデルでは、合理的なネットワークメモリ容量を達成するために、そのようなシナプスが複雑な時間的フィルタリング特性を有する動的システムであることを要求します。

さらに、2つのタスクを順番に学習するように訓練された現在の大半の人工的ニューラルネットワークでは2番目のタスクしか覚えていられないという、致命的な忘却問題を解決する方法として、最近AI分野ではよりインテリジェントなシナプスが検討されています。なぜなら、2番目のタスクを学ぶことは、最初のタスクを学ぶことから得られた知識を消すようにシナプスの重みを変えてしまうからです。

もっと一般的に言えば、私たちの現在のAIシステムは生物学的シナプスの動的な複雑さを無視することによって大きな性能向上を達成しているようです。複雑な階層表現を実現するためにネットワークに空間深度を追加したように、複雑な時間学習機能を実現するためにシナプスに動的深度を追加する必要があるかもしれません。

単一のシナプス内の複雑な分子状態は学習と記憶を助けることができます。