遂に機械は文脈を理解し始めました(2/2)

１．遂に機械は文脈を理解し始めました(2/2)まとめ

・Bertは人間同等な読解力を得たわけではないが新しい研究の方向性を示した
・自然言語に関する研究は壁にぶつかっていたので研究者達は興奮している
・ゴールはまだ遠いが爆発的な進歩に繋がる歴史的瞬間に立ち会っている

２．AIは自然言語の仕組みを理解し始めています

以下、www.nytimes.comより「Finally, a Machine That Can Finish Your Sentence」の意訳です。元記事は2018年11月18日、Cade Metzさんによる投稿です。例によってJeff Deanが褒めていた文章で、BERTの出現の衝撃についてわかりやすく書かれた良文章です。前編はこちら。

Fast.aiと協力関係にあるアイルランドに拠点を置く研究者Sebastian Ruderは、Bertのような新しい技術の発見は、彼や他のAI研究者にとってモーニングコールのようなものだと考えています。AI研究者たちは、自然言語を扱うAIはこれ以上の発展が難しいと感じていたからです。「この技術を応用できる未開拓の分野は多く、非常に高い可能性を感じます」と彼は語りました。

この技術を実現している複雑な数学的システムは、ニューラルネットワークと呼ばれています。近年、この種の機械学習は、顔認識技術や運転手が不要な自動自動車など、さまざまな分野で進歩を加速させています。研究者達はこの技術をディープラーニングと呼んでいます。

Bertの成功には、数年前には利用する事ができなかった膨大な量のコンピュータ処理能力の向上が貢献しています。Googleは、ニューラルネットワークの訓練のためだけに設計された独自の専用コンピュータプロセッサを数十台繋げて使用し、数日間にわたってWikipediaの記事を学習させました。

Devlin氏は言います。「Bertを実現するアイデアは何年も前からありましたが、近代的なハードウェアがはるかに多くのデータを扱う事ができるようになったため、Bertの開発作業を開始したのです。」

Googleと同様に、他の多くの企業がこの種の機械学習の計算に特化したハードウェアを開発しています。そして多くの人が、この、今までは利用する事が出来なかった膨大な量のコンピュータ処理能力がAI技術を広範囲にわたって進展させ、加速し続けると信じています。最も注目されている自然言語アプリケーションも含めて。

「Bertはこの新しい技術を方向付ける最初の一歩です」とGoogleの人工知能研究を統括するJeff Dean氏は述べました。「しかし、私達が目指す最終的なゴールまでにはまだ程遠いです」Dean氏は、処理能力の増強は自然言語をよりよく扱う事ができるAIに繋がると考えています。

しかし、AI研究者達は、簡単に実現できる事に注力し、簡単に実現できない事は避けているため、これらの技術が引き続き急速に進化を続けると言う見方に懐疑的な人達もいます。ニューヨーク州立大学の心理学者Gary Marcus氏もその一人です。「これらのシステムが、散文を真に理解するためには、まだまだ本当に長い道のりです。」

アレン人工知能研究所のCEO、Oren Etzioniは、ニューラルネットワークの領域を超えて様々な研究をしてきた著名人ですが、同様な課題を指摘しています。Bertは実験室での常識テストに合格しましたが、機械が人間世界の一般常識を理解するためにはまだまだ沢山の研究が必要になります。しかし、この分野の他の研究者と同様に、彼は自然言語研究の方向性が変わったと考えています。「これは爆発的な進歩に繋がる瞬間です。」と彼は指摘しました。

(遂に機械は文脈を理解し始めました(1/2)からの続きです)

３．遂に機械は文脈を理解し始めました感想

AIと言語の関係となると今年前半のベストセラーとなった「AI vs. 教科書が読めない子どもたち」を思い出す人も多いのではないでしょうか。AIに人間が勝ちやすい分野は読解力であるのは事実とは思いますが、人口知能研究の進化はあまりに速く、人間が読解力で優位を保てるかは相当アヤシクなってきました。

まぁ、数十億通のメールの内容を１日未満で学習させる事が出来るような圧倒的な計算機パワーが１年後にその８倍の性能を誇る新型機で更新されるような世界。人口知能の計算に利用可能な計算機量は3.5カ月毎に2倍になっているなんて試算がある世界。こんな世界では一年後に世界がどうなっているかなんて想像すらできませんし、予想が当たったか外れたかなどは大した話ではなく、日々を一生懸命頑張っていればあまり思い悩まずに、人工知能がきっと不老不死の世界や働かなくても良い世界を導いてくれるんだウェーイ、くらいでも良いのかしらんと少し酔っぱらっている本日の私は思います。（ナゲヤリ）

なお、「AI vs. 教科書が読めない子どもたち」は2018年2月の出版ですが、実は2018年1月の時点で人口知能が世界で初めて読解力テストで人間を凌駕！とニュースになっており、少なくとも英語では読解力の優位性はかなり昔から揺らいでいるのです。では、何故、Bertがここまで騒がれているのかと言うと、「人間が読む普通の文章」から学習して「特別な改良をせずともそのまま応用して高得点を獲得した」ためです。従来は「人工知能を学習させるために人間が手間暇かけて作った学習用の文章」を元に学習し、「読解力等のテスト用に特別な改良を行ってもそれでも人間の能力にはまるで勝てなかった」のです。

わかりやすく例えると、従来の人工知能が赤ん坊、つまり「大人が専用の離乳食を口に運んでやったり、かいがいしく世話をして、ようやく這い這いしたり人の顔を見て微笑んだりする事ができます」だったのに対して、Bertは幼児、つまり「その辺にある本を読んで学習して、自分なりに応用してやり方を教えてない事でもそれなりに上手にこなす」的な進化であり、これはスゴイ、この幼児を色々な所に連れて行ったら何をやりだすだろう、と色めきだっているのが今の現状なのですね。

従来の赤ん坊は人間が世話する必要があったので、いくら赤ん坊自体にパワーがあっても人間が世話する能力に限界があってそのパワーが生かせなかったのですが、幼児は人間がそれほど世話をしなくても人間用に書かれた文章などから学んで応用する事ができ、更には幼児のパワーが3.5カ月毎に倍々ゲームで増えていくとしたら、まさに「爆発的な進歩に繋がる瞬間」なのかもしれません。

念のためですが、上記の赤ん坊の例は例えです。本記事を読んで人工知能脅威論やおっかなく感じたらこの記事も読んでおいてください。