人工知能を創造するために生物の知能の仕組みを探求する試み(4/6)

１．人工知能を創造するために生物の知能の仕組みを探求する試み(4/6)まとめ

・生物の脳は脳内に世界モデルを持っておりそれを使って計画や意思決定をしている
・生物の脳とコンピュータを用いた現在のAIシステムはエネルギー効率に大きな違いがある
・生物の脳が複雑で信頼性が低く見えるのはエネルギー消費を抑えるためかもしれない

２．脳と現在のAIの消費電力の違い

以下、hai.stanford.eduより「The intertwined quest for understanding biological intelligence and creating artificial intelligence」の意訳です。元記事は2018年12月5日、Surya Ganguliさんによる投稿です。脳科学の用語が頻出しますが、わからない単語は読み飛ばしてしまう事を推奨です。読み難い部分は私の実力不足です。(3/6)からの続きです。Jeff Deanが特に興味深かったと言っていたのは脳の消費エネルギーと現在のAIシステムの消費エネルギーの比較の部分です。(5/6)に続きます。

理解、計画、およびアクティブカジュアルラーニングのための世界モデルの構築

商業環境における現在のAIの成功の大部分は、教師付き学習、つまり、AIシステムが受動的に入力を受け取り、正しい出力を伝えられ、各入出力の組み合わせが合うようにパラメータを調整する事によって、達成されています。対照的に、人間の赤ちゃんは彼らの環境を調査する活発な科学者のようにふるまいます。例えば、次の実験を考えてください。

手品を用いて、赤ちゃんは2つの「魔法の」物体を見せられます。物体Aは壁を通り抜けて動くように見え、物体Bは落とされても落ちません。そして、赤ちゃんは2つの物体を与られ、それを使って遊ぶ事ができるようになります。すると、赤ちゃんは物体Aを固い表面に押し込もうとし、物体Bを落として落下するかどうかを確かめようとします。(その逆ではありません)

この驚くべき実験は、赤ちゃんが自分たちの世界を積極的に調査する科学者のように振る舞っている事を示唆しています。特に、

(1)物理的世界がどのように振る舞うべきかについての内部モデルを持っている
(2)その世界モデルに違反する出来事に注意を払う
(3)これらの違反に関する更なるデータを集める積極的な実験を行う

をしています。赤ちゃんは自身の世界モデルに基づいて独自のトレーニングデータを選択しています。

従って、赤ちゃんでさえ、現在のほとんどの商用AIシステムとは異なり、世界のモデルを学び、活用するための優れた機能を備えています。私達は、「経験から世界モデルを学ぶこと」「未来を計画するために世界モデルを使用すること(すなわち、行動に応じて異なる未来になる事を予想する)」、そして「意思決定をするためにそのような未来の計画を使用すること」について神経科学とAIの両方でさらなる研究を必要としています。

このような世界モデルベースの計画と意思決定は、現在の世界モデルを持っていない強化学習システムに対する強力な支援となる可能性があります。

このAIの研究は、動物の神経活動が想像された未来と実際の未来にどのように関係しているかを明らかにする神経科学の研究と連携して進めることができます。また、好奇心のような基本的な動機は、学習と探査を容易にするために強化学習システムに適応することができます。

より一般的に言えば、動物や人間の学習を容易にしている脳のシステムと固有の生物学的要因を深く理解する事は、人工システムの学習をスピードアップするために非常に有益である可能性があります。

科学者は感覚的経験を用いて統計情報を新たに更新しました。
(訳注：要は「赤ちゃん(科学者)が初めて食べた物が美味しかった」って事と思われます)

ポストムーアの法則の世界でエネルギー効率の高い計算を実現する

生物学的システムと人工的システムとの間のもう一つの大きな違いはそれらのエネルギー消費にあります。スーパーコンピュータはメガワットの単位で電力を消費して動作していますが、人間の脳はわずか20ワットの電力を消費します。

この意味で、私達は皆、文字通り電球より薄暗い人(dimmer)なのです！この矛盾の主な理由は、デジタルコンピューティングへの過度の依存にあると思われます。デジタル革命は現代の情報技術の台頭をもたらしましたが、それは今や真の人工知能を達成するための私たちの将来を見据えた探求においては、準最適な古い技術として考えられるかもしれません。

その理由は、デジタル計算では計算の中間段階ですべてのビットを極めて高い信頼性で反転させる必要があるからです。しかしながら、熱力学の法則は、高速で信頼性のあるビット反転毎にかなりのエネルギーコストを要求するので、それにより高いエネルギー効率は実現できないのです。

これとは対照的に、細胞内の分子や脳内のニューロンを使った生物学的計算は、驚くほど騒々しく不正確に見えます。しかし、生物学的計算のすべての中間ステップは、最終的な答えが十分に優れているため十分に信頼性があります。

更に、頭脳は望みの通信速度に応じてエネルギーコストを賢く上下させます。(私達の携帯電話のプロセッサがやっと始めたことです)

たとえば、脳内の1ビットがニューロンを通過するときのコストを考えてみましょう。それは、小胞の確率論的放出として始まり、その内容物は、1秒当たり1ミリメートルの速度でソースニューロンとターゲットニューロンとの間の空間にわたって拡散し、2.3フェムトジュール(fJ)のエネルギーしか燃焼しません。

神経細胞間の間隔はたったの20ナノメートルなので、この遅い速度は問題になりません。この化学信号は、毎秒1メートルの速度でニューロンの細胞体を通って流れる受動電気信号に変換され、約10マイクロメートルを移動して23fJのエネルギーを燃焼させます。最後に、それは軸索の末端に到達し、軸索に沿って毎秒100メートルを移動し、1cmを移動するために6000fJを燃やすスパイクに変換されます。

このように、化学的信号伝達から受動的電気信号伝達へ移行する際、脳は通信速度を1000倍に動的にアップレギュレートし、1000倍に相当する距離を移動し、エネルギー消費を10倍増加させます。同様に、パッシブからアクティブへの電気信号伝達では、脳は通信速度を100倍にして距離を1000倍にし、エネルギー消費量を約200倍にします。

したがって、脳はより速い速度が必要とされるとき、そしてより高い信頼性が要求されるときにのみ、より多くのエネルギーを費やします。これとは対照的に、デジタルコンピュータは固定同期クロックで動作し、各クロック単位で多くのトランジスタが確実に状態を反転しなければなりません。

まとめると、生物学的な計算の内部がカオスに見える事は厄介な事ではなく、むしろ非常にエネルギー効率の高い設計の望ましい原則を反映しているのかもしれません。私達のAIハードウェアでそのような効率を達成するためには、生物学的計算が従っている原則に従うことが不可欠かもしれません。

Neurogrid：Silicon LabのStanford Brainsによって開発された、生物学に触発されたニューロモルフィックコンピュータ。