人工知能を創造するために生物の知能の仕組みを探求する試み(6/6)

入門／解説
2019.01.07

１．人工知能を創造するために生物の知能の仕組みを探求する試み(6/6)まとめ

・スタンフォードでは「知性の出現に関する潜在的な法則」を解明するプロジェクトが立ち上がった
・そのために異なる分野を横断し、自由にアイデアを交換する新しい研究コミュニティを作る
・StanfordのHAI(Human-Centered AI:人間中心のAI)は新しいAIシステムの開発を進めていく

２．知性とは何なのかを解明する挑戦

以下、hai.stanford.eduより「The intertwined quest for understanding biological intelligence and creating artificial intelligence」の意訳です。元記事は2018年12月5日、Surya Ganguliさんによる投稿です。脳科学の用語が頻出しますが、わからない単語は読み飛ばしてしまう事を推奨です。読み難い部分は私の実力不足です。(5/6)からの続きです。

人間中心のAIイニシアチブを通じ、スタンフォードで学術環境を育む

生物学的システムと人工システムの両方に適用可能な「知性の出現に関する潜在的な法則」を発見し、神経科学と心理学に触発された新しいタイプのAIを構築するためには、研究者の協調と努力が必要です。より良いAIシステムを追求するコンピュータ科学者やエンジニア、脳や心の特性を探る神経科学者、心理学者、認知科学者、そして私たちの総合的な知識を形式化し、一般法則を発見しようとしている理論家など。

本質的には、これらの異なる分野を横断し、自由にアイデアを交換する新しい研究コミュニティを作る必要があります。研究コミュニティは、政府助成金の資金調達メカニズムと業界の資金調達モデルの両方で流行している短期的な研究結果を生み出す圧力から隔離される必要があります。

私たちはまた、コンピューター科学、神経生物学、心理学、数学理論の一部を同じ脳の中に集めて、多くの分野にわたって技術や知識を認識している次世代の学生や思考リーダーを訓練する必要があります。

これらは、私たちの新しく形成された人間中心のAIイニシアチブの1つの重点分野の目標です。私たちは人間の知性に触発された新しいAIシステムを生成します。私たちは、このミッションに関連した既存のセンターや優れた機関と密接に連携する予定です。それらにはスタンフォード人工知能研究室、Wu Tsai神経科学研究所、Center for Mind Brain Computation and Technology、スタンフォード理論物理学研究所、そして情報システム研究室などを含みます。

さらに、コンピュータ科学、電気工学、神経科学、心理学、言語学、哲学、教育、数学、物理学、および統計学を含む(ただしこれらに限定されない)主要なスタンフォード大学の学術部門およびプログラムの専門知識を引き出します。

StanfordのHAI(Human-Centered AI:人間中心のAI)は、学際的な学者の新しいコミュニティを作成し育成することによって、今世紀以降の最もエキサイティングな知的活動の1つである可能性がある、生物学的知能の理解と人工知能の創出という絡み合った問題を探索していきます。

 

参考文献

  1. Emes RD, Grant SGN. Evolution of synapse complexity and diversity. Annu Rev Neurosci. 2012;35: 111–131.
  2. Coba MP, Pocklington AJ, Collins MO, Kopanitsa MV, Uren RT, Swamy S, et al. Neurotransmitters drive combinatorial multistate postsynaptic density networks. Sci Signal. 2009;2: ra19.
  3. Fusi S, Drew PJ, Abbott LF. Cascade models of synaptically stored memories. Neuron. 2005;45: 599–611.
  4. Lahiri S, Ganguli S. A memory frontier for complex synapses. Neural Information Processing Systems (NIPS). 2014.
  5. Zenke F, Poole B, Ganguli S. Continual Learning Through Synaptic Intelligence. In: Precup D, Teh YW, editors. Proceedings of the 34th International Conference on Machine Learning. International Convention Centre, Sydney, Australia: PMLR; 2017. pp. 3987–3995.
  6. Scott SH. Optimal feedback control and the neural basis of volitional motor control. Nat Rev Neurosci. Nature Publishing Group; 2004;5: 532–546.
  7. Scott SH. The computational and neural basis of voluntary motor control and planning. Trends Cogn Sci. 2012;16: 541–549.
  8. Douglas RJ, Martin KAC. Neuronal circuits of the neocortex. Annu Rev Neurosci. 2004;27: 419–451.
  9. Amodei D, Ananthanarayanan S, Anubhai R, Bai J, Battenberg E, Case C, et al. Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin. International Conference on Machine Learning. 2016. pp. 173–182.
  10. Silver D, Schrittwieser J, Simonyan K, Antonoglou I, Huang A, Guez A, et al. Mastering the game of Go without human knowledge. Nature. 2017;550: 354–359.
  11. Antol S, Agrawal A, Lu J, Mitchell M, Batra D, Zitnick CL, et al. VQA: Visual Question Answering. 2015 IEEE International Conference on Computer Vision (ICCV). IEEE; 2015. pp. 2425–2433.
  12. Zamir AR, Sax A, Shen W, Guibas L, Malik J, Savarese S. Taskonomy: Disentangling Task Transfer Learning. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. pp. 3712–3722.
  13. Lampinen AK, Ganguli S. An analytic theory of generalization dynamics and transfer learning in deep linear networks [Internet]. arXiv [stat.ML]. 2018. Available: http://arxiv.org/abs/1809.10374
  14. Gopnik A, Meltzoff AN, Kuhl PK. The scientist in the crib: What early learning tells us about the mind. Perennial New York, NY; 2001.
  15. Papale AE, Zielinski MC, Frank LM, Jadhav SP, Redish AD. Interplay between Hippocampal Sharp-Wave-Ripple Events and Vicarious Trial and Error Behaviors in Decision Making. Neuron. 2016;92: 975–982.
  16. Haber N, Mrowca D, Fei-Fei L, Yamins DLK. Learning to Play with Intrinsically-Motivated Self-Aware Agents. Neural Information Processing Systems. 2018.
  17. Bennett CH. The thermodynamics of computation—a review. Int J Theor Phys. 1982;21: 905–940.
  18. Sterling P, Laughlin S. Principles of Neural Design. MIT Press; 2015.
  19. Yamins DLK, Hong H, Cadieu CF, Solomon EA, Seibert D, DiCarlo JJ. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences. National Acad Sciences; 2014; 201403112.
  20. Kell AJE, Yamins DLK, Shook EN, Norman-Haignere SV, McDermott JH. A Task-Optimized Neural Network Replicates Human Auditory Behavior, Predicts Brain Responses, and Reveals a Cortical Processing Hierarchy. Neuron. 2018;98: 630–644.e16.
  21. Mante V, Sussillo D, Shenoy KV, Newsome WT. Context-dependent computation by recurrent dynamics in prefrontal cortex. Nature. Nature Publishing Group; 2013;503: 78–84.
  22. Sussillo D, Churchland MM, Kaufman MT, Shenoy KV. A neural network that finds a naturalistic solution for the production of muscle activity. Nat Neurosci. 2015;18: 1025–1033.
  23. McIntosh L, Nayebi A, Maheswaranathan N, Ganguli S, Baccus S. Deep learning models of the retinal response to natural scenes. Adv Neural Inf Process Syst. 2016;
  24. Maheswaranathan N, McIntosh LT, Kastner DB, Melander J, Brezovec L, Nayebi A, Wang J., Ganguli S., and Baccus S.A. Deep learning models reveal internal structure and diverse computations in the retina under natural scenes, bioRxiv. 2018, https://www.biorxiv.org/content/early/2018/06/14/340943
  25. Ganguli S, Huh D, Sompolinsky H. Memory traces in dynamical systems. Proc Natl Acad Sci. National Acad Sciences; 2008;105: 18970.
  26. Ganguli S, Bisley JW, Roitman JD, Shadlen MN, Goldberg ME, Miller KD. One-dimensional dynamics of attention and decision making in LIP. Neuron. Elsevier; 2008;58: 15–25.
  27. Saxe A, McClelland J, Ganguli S. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks. International Conference on Learning Representations (ICLR). 2014.
  28. Saxe AM, McClelland JL, Ganguli S. A mathematical theory of semantic development in deep neural networks [Internet]. arXiv [cs.LG]. 2018. Available: http://arxiv.org/abs/1810.10531
  29. Advani M, Lahiri S, Ganguli S. Statistical mechanics of complex neural systems and high dimensional data. J Stat Mech: Theory Exp. IOP Publishing; 2013;2013: P03014.
  30. Sohl-Dickstein J, Weiss EA, Maheswaranathan N, Ganguli S. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML). 2015;
  31. Advani M, Ganguli S. Statistical mechanics of optimal convex inference in high dimensions. Physical Review X. 2016;
  32. Dauphin YN, Pascanu R, Gulcehre C, Cho K, Ganguli S, Bengio Y. Identifying and attacking the saddle point problem in high-dimensional non-convex optimization. Advances in Neural Information Processing Systems. 2014. pp. 2933–2941.
  33. Goyal A, Ke NR, Ganguli S, Bengio Y. Variational Walkback: Learning a Transition Operator as a Stochastic Recurrent Net. Advances in Neural Information Processing Systems 30. 2017. pp. 4392–4402.
  34. Poole B, Lahiri S, Raghu M, Sohl-Dickstein J, Ganguli S. Exponential expressivity in deep neural networks through transient chaos. Adv Neural Inf Process Syst. 2016;
  35. Pennington J, Schoenholz S, Ganguli S. Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice. Advances in Neural Information Processing Systems. 2017.
  36. Pennington J, Schoenholz SS, Ganguli S. The Emergence of Spectral Universality in Deep Networks. Artificial Intelligence and Statistics (AISTATS). 2018.

３．人工知能を創造するために生物の知能の仕組みを探求する試み(6/6)関連リンク

1)hai.stanford.edu
The intertwined quest for understanding biological intelligence and creating artificial intelligence

 

コメント

タイトルとURLをコピーしました