人工知能を創造するために生物の知能の仕組みを探求する試み(1/6)

１．人工知能を創造するために生物の知能の仕組みを探求する試み(1/6)まとめ

・脳科学、神経科学、心理学、認知科学の観点から現在の人工知能と将来の方向性を考察する
・CNN、畳み込みニューラルネットワークは脳の仕組みを真似て開発された
・逆に強化学習は脳の動作の解釈に影響を与え、脳内でも強化学習が起きていると言う仮説に繋がった

２．人工知能に影響を与えた脳科学と脳科学に影響を与えた人工知能

以下、hai.stanford.eduより「The intertwined quest for understanding biological intelligence and creating artificial intelligence」の意訳です。元記事は2018年12月5日、Surya Ganguliさんによる投稿です。例によってJeff Deanが絶賛していた記事で、脳科学の視点から人工知能の限界と将来の方向性を探る記事です。脳科学の用語が頻出しますがわからない単語は読み飛ばしてしまう事を推奨です。読み難い部分は、私の実力不足です。ちなみにJeff Deanが特に感銘を受けたと書いていた箇所は4/6に出てきます。2/6に続きます。

理解していないものは作れない。 -Richard Feynman-

知性について：創造と理解

人間に似た知性の最初の輝きは、数百万年前にアフリカ大陸に現れ、進化を続け、最終的に約10万年前に私たちの種、ホモ・サピエンスの脳に至りました。現代人として、私たちは、自分たちの精神的本質を熟考するために内面的を覗きこむだけでなく、古代の先祖達が物理的現実の本質を熟考するために夜空を覗き込んだ時の経験を想像することができます。過去数百年の間に、私たちの種は、量子力学と一般相対性理論の巨大な枠組みにまとめられている空間、時間、物質とエネルギーの関係を表す数学的法則を発見し、現実世界の物理法則を理解する程巨大な知的進歩を遂げました。

しかし、私たちの精神の本質を理解するための探求は始まったばかりです。特に人間の知性は100兆のシナプスで結ばれた1000億のニューロンからどのように生まれ出てくるのでしょうか？神経科学、心理学、認知科学、現代の学問は、過去100年間に重要な進歩を遂げ、この壮大な質問を解き明かすための基礎を築いてきました。実際、オバマ大統領が2013年に米国のブレインイニシアチブの発表で説明したように、今は「耳の間にある3ポンドの物質の謎を解き明かす」時代になっています。

しかし、それが私たち自身の精神的能力の実現となると、それらを単に理解するだけでは不十分です。私たちはまた、時には無生物のシステムで私たち自身を模して再現したいという深い欲求を感じています。本質的に人間は、進化の産物として、時に創造者の役割を果たすことを切望しています。この憧れは、メリー・シェリーの「フランケンシュタイン」からアイザック・アシモフのロボット三原則を最初に提言した「ロボット」、に至るまで、人間文学にも浸透しています。

確かに、神経科学、心理学、認知科学の分野と協力することが多い新しい人工知能(AI)は、人間のような能力を発揮する機械を作る上で大きな進歩を遂げました。私はこの記事で、知的システムを理解し作り上げるために、AI、神経科学、心理学、認知科学、及び数学、物理、社会科学が相互に深く絡み合った世界を探求していきます。

生命体と人工物の生産的コラボレーション

AIの研究は60年ほど前から開始されましたが、当初は神経科学と心理学の影響を強く受けていました。初期の数十年間は、多くのAI研究者は神経科学と心理学を学びAIの研究を行いました。以下では、神経科学、心理学、AIの過去の相互作用を列記します。

１）比較的単純な要素(ニューロン)の分散ネットワークが人間の知性の基礎となり目覚ましい計算を可能にするという考えは、神経科学に由来します。これは、現代のAIシステムにもニューラルネットワークの形で伝わっています。この考えは必ずしも明白ではなく、約100年前のGolgiとCajalの間の有名な論争の結果、初めて堅固になりました。

訳注:GolgiとCajalの間の有名な論争とは、神経細胞(ニューロン)間に隙間があるか否かを巡って2人のノーベル賞受賞者が意見を戦わせた論争。結局、接合部(シナプス)に隙間は存在し、人間の脳は網状ではなく個々の独立するニューロンによって構成されていると言う事が明確になりました。

２）様々な次元削減テクニック(多次元スケーリングや因子分析を含む)は、元々、心理学研究の分野で考え出されました。

３）有名な神経科学者であるHorace Barlow氏はfactorized codesのアイデアを生み出しました。これは独立成分分析(ICA)の研究に繋がり、AI分野でもデータの独立変動要因を解消する手法の研究に繋がりました。

４）Tolmanの認知地図の研究は、ラットでさえ心の中に現実世界のモデルを形成し、このモデルを使用して計画及びナビゲートすることができるという証拠を提供しました。この研究は、動物の知能には重要な構成要素である内部モデル形成があると言う考えに繋がり、この内部モデル形成は現在の最先端AI研究の研究対象となっています。

５）Hopfieldネットワークはニューロサイエンスの理論的モデルで、分散型のアドレス指定可能なメモリの保存について考えるための統一されたフレームワークを提供し、ボルツマンマシンにも影響を与えました。これは、ディープニューラルネットワークモデルの成功を実証するための重要な最初のステップを提供し、AIの計算モデルとして多くの弱い制約を分散して達成するというアイデアに影響を与えました。

６）現在コンピュータービジョン分野で主流となっている畳み込みニューラルネットワークの根底にある重要な要素は、脳の構成から直接触発されました。腹側皮質視覚路(大脳の視覚野と呼ばれる領域のうち大脳の腹側に位置する経路)における階層的視覚処理は、深さの重要性を示唆しました。視覚皮質の空間構造であるレチノトピーの発見は、畳み込みに繋がりました。単純で複雑なセルの発見はMax Pooling操作の動機付けに繋がりました。そして皮質内の神経の正規化の発見は、アーティフィカルネットワークにおける様々な正規化の動機付けに繋がりました。

７）一次視覚皮質における指向性エッジ検出器の起源を理解するための試みとしてのスパースコーディングに関する重要な研究は、現代のAIシステムにおける基礎的構成要素としてのスパースコーディングをもたらしました。

８）強化学習の分野では現在基礎となっている時間差学習のようなアルゴリズムは、古典的条件付けに関する動物実験に触発されました。

９）言い換えると、強化学習は大脳基底核の作用の解釈に劇的な影響を及ぼしました。ドーパミン作動性ニューロンは、大脳基底核に、多くの強化学習アルゴリズムで学習を推進する最も重要な報酬予測誤差信号を提供します。

訳注:ドーパミン作動性ニューロンは当初、運動制御に直接関わるものと考えられていましたが、近年はどのような行動が報酬をもたらすのかを予測するための学習に関与していると考えられています。つまり、大脳基底核の神経回路において強化学習が行われているという仮説があります。

１０）脳内のメモリシステムのモジュール性は、現代のメモリニューラルネットワークに影響を与えました。その結果、メモリストレージの操作と、いつメモリから読み書きするかを決定する実行制御回路はある程度分離されています。

１１）人間の「注意」のメカニズムは、Attentionの仕組みに繋がりました。すなわち、将来の決定を下すために、ある状態や入力のさまざまな側面に動的に注意を払うか無視するかを訓練することができるattentional neural networksです。

１２）言語学および認知科学における形式的生成文法の開発は、コンピューターサイエンスとAIにおける統計的文法及び解析の開発に繋がりました。

１３）ドロップアウトのような現代の正則化手法は、ニューラルダイナミクスの本質的な確率論に触発されました。

(人工知能を創造するために生物の知能の仕組みを探求する試み(2/6)に続きます)