機械学習と脳の違い Part 1: ニューロンはとても遅い

１．機械学習と脳の違い Part 1: ニューロンはとても遅いまとめ

・脳のニューロンの情報伝達は遅く処理速度は約250Hz、つまり4ミリ秒に1回しか処理できない
・IntelのCore i9プロセッサは5.20GHzなので単純計算すると2233万倍の処理速度を持つ
・脳がトランジスタと同じ仕組みで動いていたら０～９の数字を覚えるために16時間が必要

２．人のニューロンと機械のニューロンの違い

以下、www.kdnuggets.comより「Machine Learning Is Not Like Your Brain Part One: Neurons Are Slow, Slow, Slow」の意訳です。元記事は2022年5月5日、Charles Simonさんによる投稿です。

アイキャッチ画像は脳のニューロンっぽいですが、２つともlatent diffusionに脳の伝達の遅さを表現して貰おうとして上手くいかなかった画像

人工知能は、それほど知的なものではありません。現在のAIは並外れたことをすることができますが、その成果の根底にある機能は、人間の脳が同じタスクを達成するために働く方法とはほとんど関係がないのです。

生物学的な脳は、物理的な物体がさまざまな物理的属性の影響を受ける3D環境に存在することを理解しています。そして、これまでに学習した他のすべての事柄との関連性の中で、すべての事柄を解釈します。

これとは対照的に、AI、特に機械学習(ML:Machine Learning)は、膨大なデータを分析し、パターンや相関関係を探しますが、処理するどんなデータも理解することはありません。タグ付けされた何千ものサンプルを必要とするMLシステムは、タグ付けされていないわずかなデータから学習することができる子供の心とは根本的に異なっています。最近の「ニューロモルフィック(訳注：neuromorphic。生物の神経回路の仕組みを電子回路で模倣しようとする試み)」チップでさえ、生物には存在しない機能に依存しています。

これは氷山の一角に過ぎません。今日のAIが固有の限界を克服し、次の段階である人工汎用知能(AGI:Artificial General Intelligence)へと進化するためには、すでに汎用知能を実装している脳と、それに対応する人工物の違いを検証する必要があるのです。

本連載では、全9回にわたって、生物学的な神経細胞の能力と限界、そしてそれが人工知能とどのように関わっているのかを、順を追って詳しく解説していきます。そうすることで、人間の脳の文脈理解能力を再現し、AIが真の知性と理解を獲得するために最終的に何が必要なのかを明らかにします。

機械学習がなぜあなたの脳とあまり似ていないのかを理解するためには、脳の働きとその主要な構成要素である神経細胞、すなわちニューロンについて少し知る必要があります。ニューロンは複雑な電気化学的装置であり、この簡単な説明は表面をなぞったものに過ぎません。できるだけ簡潔に説明しますので、ご容赦ください。

ニューロンは細胞体と長い軸索(平均10mm程度)を持ち、シナプスを介して他のニューロンと結合しています。各ニューロンは、内部の電荷(膜電位)を蓄積しており、この電位は変化することができます。電位が閾値に達すると、ニューロンは「発火」します。

ニューロンの内部電荷は、内部電荷を増加または減少させることができる神経伝達物質イオンの添加によって変更(神経伝達物質イオンの電荷に依存します)することができます。

これらの神経伝達物質は、入力となるシナプスから寄与されます。接続されたニューロンが一定量発火すると、各シナプスの「重み」と呼ばれます。

シナプスの重みが変化すると、シナプスの標的となるニューロンの内部電荷に寄与するイオンの数が増えたり減ったりします。このような場合、シナプスを介して神経伝達物質が放出され、神経細胞はその軸索に神経スパイクを送ります。発火後、電圧は静止状態に戻り、神経伝達物質は最初の場所に戻り、再利用されます。

これは、多くのMLシステムの根幹をなす理論的なパーセプトロンの処理とは大きく異なります。(この違いについては次回以降に説明します)。パーセプトロンはある種の計算を得意としますが、ニューロンは他の種の計算を得意とします。

(左)ニューロンの図。「入力」と「出力」はシナプスであり何千も存在します。軸索上の髄鞘は、新皮質では 100mm の長さの長い軸索にのみ存在するため、この図は縮尺が桁違いに足りません。脳の短い軸索は髄鞘がないため、スピードは遅いが密度が高く、それでも細胞体の直径の数百倍の長さになることが多いです。図：Egm4313.s12＠英語版ウィキペディア／CC BY-S
(右)パーセプトロンの表現で、重み付けされた多くの入力と、他の多くの類似したユニットに接続される単一の出力を示します。パーセプトロンは数学的な構造物であるため、その性能は実装するハードウェアによってのみ制限されます。図：ウィキメディア・コモンズ、CC BY-SA-3.0。

ニューロンは遅く、遅く、遅く、最大発火速度は約250Hzです。(KHzでもMHzでもGHzでもなく、Hzです！）つまり、最大で4ミリ秒に1回のスパイクを打つことができます。それに比べ、トランジスタは何百万倍もの速さです。神経スパイクの長さは約1msですが、スパイク後の3msがリセットに必要になるため、ニューロンは再び発火できず、入ってくる神経スパイクは無視されます。このことにより、ニューロンとパーセプトロンの大きな違いのひとつに、パーセプトロンでは信号の到着時刻が重要でないのに対し、生物学的ニューロンでは信号のタイミングが極めて重要である事が分かるでしょう、

ニューロンがこれほど遅いのは、電子的なものではなく、電気化学的なものだからです。イオン分子の輸送や再配向に依存しているため、電子信号よりもはるかに遅いのです。ニューロンのスパイク信号は、1つのニューロンから次のニューロンへと軸索に沿って1～2m/sというゆったりとした速度で伝わり、ほぼ光速で伝わる電子信号と比較すると、歩く速度よりわずかに速い程度です。

MLに話を戻すと、発火周波数を確立するのに10回の神経パルスが必要だとすると(これについては次回)、今度は値を表現するのに40ミリ秒かかることになります。10層からなるネットワークでは、どの信号も最初の層から最後の層まで伝搬するのにほぼ半秒を要します。境界検出のような視覚の基本的な処理のための追加層を考慮すると、脳の処理段階は10以下である必要があります。

また、ニューロンの速度が遅いということは、何千ものトレーニングサンプルを何度も提示して学習するというアプローチがあり得ないということでもあります。生物の脳が1秒間に1枚の画像を処理できるとしたら、手書き数字のMNISTデータセットの6万枚の画像には、1000分、つまり16時間の集中が必要です。

これらの記号を覚えるのに、あなたはどれくらいの時間がかかるでしょうか？10分でしょうか？明らかに、何か違うことが起こっています。