機械学習のトップマインドによる2020年のAI予測(1/3)

１．機械学習のトップマインドによる2020年のAI予測(1/3)まとめ

・AIは単純な精度よりもパフォーマンスに重きを置いて評価されるようになっていく可能性が高い
・機械学習フレームワークの覇権争いは収束し次の主戦場はアクセラレータや量子化に対応したコンパイラ
・AIが「ブラックボックス」であると言う批判は的を得ていない。人間の脳もブラックボックス

２．機械学習のコンパイラとブラックボックス神話

AIはいつの日か世界を変えようとしているのはありません。今、世界を変えています。

新しい年と2010年代の始まりの際に、VentureBeatは2019年の進歩を見つめなおし、2020年に機械学習がどのように成熟するかを先取りするために、AIの最先端を走る人々に注目しました。

PyTorchの作成者であるSoumith Chintala、カリフォルニア大学の教授Celeste Kidd、Google AIのチーフJeff Dean、NVIDIAの機械学習研究のディレクターAnima Anandkumar、およびIBM ResearchのディレクターDario Gilに話を聞きました。

誰もが来年の予測をしていると思いますが、今回インタビューする人々はこれからの未来を形作る人々です。科学技術の発展を大切にし、その実績により信頼を獲得したAIコミュニティの権威と見なされる個人です。

半教師付き学習やニューラルシンボリックアプローチなどの関連分野の進歩を予測する人もいます。しかし、VentureBeatがインタビューしたほぼ全てのMLの著名人は、2019年にTransformerベースの自然言語モデルで大きな進歩が遂げられた事、、顔認識のようなプライバシーに関わる技術をめぐる議論が続く事を予想しています。また、AIが単純な精度よりもパフォーマンスに重きを置くようになることを予測しています。

2019年を振り返ってみたい場合は、2018年、Facebook AI ResearchのチーフサイエンティストであるYann LeCun、Landing.aiの創設者Andrew Ng、アクセンチュアのグローバル責任AIリーダーRumman Chowdhuryなどにインタビューした記事「AI predictions for 2019 from Yann LeCun, Hilary Mason, Andrew Ng, and Rumman Chowdhury」をご覧ください。

１．Soumith Chintala(PyTorchのディレクター、プリンシパルエンジニア、発案者)

評価方法にもよりますが、PyTorchは現在世界で最も人気のある機械学習フレームワークです。 2002年に発表されたTorchオープンソースフレームワークの派生物であるPyTorchは、2015年に利用可能になり、拡張機能とライブラリで着実に成長しています。

昨年の秋、Facebookは量子化とTPUをサポートするPyTorch 1.3をリリースしました。深層学習の内容を解釈するツールであるCaptumとPyTorch Mobileも同時にリリースされています。PyRobotやPyTorch Hubのようなものもあり、コードを共有し、機械学習の実践者に他者が再現出来るような形での成果の発表を奨励しています。

今年の秋のPyTorch Dev Conで行われたんVentureBeatとのインタビューの中で、Chintala氏は2019年の機械学習には画期的な進歩はあまり見られなかったと述べました。

「私は実際には画期的な進歩があったとは思いません。基本的に、Transformer以降は。私達が黄金期に達した2012年にはConvNetsがありました。2017年くらいにTransformer、それが私の個人的な意見です」と彼は言いました。

彼は強化学習への貢献として、DeepMindの画期的な成果であるAlphaGo(碁の世界チャンピオンに勝ったAI)に言及しましたが、現実世界の実際のタスクに結果を応用するのは難しいと言いました。

Chintalaはまた、PyTorchやGoogleのTensorFlowなどの機械学習フレームワーク(機械学習の実践者の間で圧倒的な人気を集めている)の進化が、研究者のアイデアの探求や仕事のやり方を変えたと考えています。

「これは、開発者が以前よりも数十倍、数百倍速く開発する事が出来るという意味で、ブレークスルーでした」と彼は言いました。

今年、GoogleとFacebookのオープンソースフレームワークは、モデルのトレーニング速度を高めるために量子化を実装しました。 今後数年間、ChintalaはPyTorchのJITコンパイラーや、Glowのようなニューラルネットワーク用ハードウェアアクセラレーターのためのツールの重要性と採用が爆発的に増加する事を予期しています。

「フレームワークの覇権争いはPyTorchとTensorFlowの２つに収束するように見えます。次の戦争はフレームワークのコンパイラです。量子化の導入によって、コンパイラレベルで効率性に優劣の差が生まれるためです。XLA、TVM、PyTorchにはGlowがあり、多くの革新が起こるのを待っている状況です。今後数年間、よりスマートに量子化する方法、融合(fuse)を改善する方法、GPUをより効率的に使用する方法、そして、新しいハードウェア用に自動的にコンパイルする方法などの出現を見る事でしょう。」

この記事でVentureBeatがインタビューした他のほとんどの業界リーダーと同様に、Chintalaは、AIコミュニティが2020年にはAIモデルを単純な精度の高さではなく、AIモデルのパフォーマンスに価値を置くようになると予測しています。

AIモデルの作成に必要な電力量、どのようにしてAIモデルが出力した結果を人間に説明できるのか？AIはどのように人々が望ましいと思う社会づくりによりよく貢献できるのか？など、その他の重要な要因に注意を向け始めるとの予測です。

「過去5年、6年を振り返ると、私達は精度と単純な数字だけに注目していました。Nvidiaのモデルは他のモデルより正確ですか？ Facebookのモデルはどうですか？」と彼は言います。

「実際、2020年は、より複雑に考え始める年になると思います。モデルが使いやすい、または何か他の基準を満たさなければ、精度が3％高いか否かは意味がありません。」

２．Celeste Kidd カリフォルニア大学バークレー校の発達心理学者(Developmental psychologist)

Celeste Kiddは、カリフォルニア大学バークレー校のKidd研究所のディレクターであり、彼女と彼女のチームは子供たちがどのように学ぶかを探求しています。彼女達の洞察は、子育てとは似つかない方法でAIモデルを訓練しようとしているニューラルネットワークの開発者の助けとなります。

「人間の赤ちゃんはタグ付けされたデータセットを扱いませんが、うまく情報を管理できます。それをどのように達成しているのかを理解することは重要です」

2019年にKiddが驚いたことの1つは、ニューラルネットワーク研究者の多くが、自分自身の研究や他の研究者の研究を、人間ならば赤ちゃんでさえ出来る事がニューラルネットワークには出来ないと軽々しく卑下している事でした。

「赤ちゃんの行動を平均的に考えると、彼らはいくつかのことを理解していますが、完全な学習者ではないことを示す証拠があり、ニューラルネットワークと比較して赤ちゃんに何ができるかを語る事は過度にバラ色の未来を描く事に繋がります」と彼女は言います。

「人間の赤ちゃんは素晴らしいですが、彼らは多くの間違いを犯します。人々が気軽に行うニューラルネットワークと人間の赤ちゃんの比較の多くは、赤ちゃんの行動を集団レベルで理想化して行われています。」

彼女は言います。「これは、あなたが現在知っている事と次に理解したいと思っている事の関係性について過大評価に繋がる可能性があると思います。」

AI業界では、「ブラックボックス」という語句は何年も前から使用されています。これは、ニューラルネットワークの挙動や出力が人間が説明する事が不可能である事をを批判するために使用される単語ですが、Kiddは、2020年はニューラルネットワークが解釈不能であるという認識の終わりの始まりになる可能性があると考えています。

「ブラックボックス論争はインチキです。脳もブラックボックスです。そして私達は脳の仕組みを理解する事に関して多くの進歩を遂げています」と彼女は言います。

このニューラルネットワークの知覚をわかりやすく説明するために、KiddはMIT-IBM Watson AI LabのエグゼクティブディレクターであるAude Olivaのような人々の仕事に注目しています。

私がシステムがブラックボックスであることについて何か言った時、彼女はもちろんブラックボックスではないと言う事を合理的に説明して私を非難しました。

「もちろん、あなたはそれらを分析し、分解し、それらがどのように機能し、実行されるのか実験して確かめる事ができます。これは人間の認知機能を理解するために私達が行っている事と同じです」とKiddは言います。

Kiddは先月、世界最大のAI研究カンファレンスであるNeural Information Processing Systems(NeurIPS)カンファレンスで基調講演を行いました。彼女の講演は、人間の脳がどのようにして頑強な信念、注意システム、ベイジアン統計を保持しているかに焦点を当てました。

彼女は、情報を配信するために適した程よい状況とは、その人の以前の関心と理解、そして驚きがあるか否かに関係すると言います。人々は、あまりにも驚くべき情報はそれほど受け入れない傾向があります。

その後、彼女は中立的な技術プラットフォームというものは存在しないと述べ、コンテンツ推奨システムのメーカーが人々の信念を操作する方法に注意を喚起しました。最大のエンゲージメントを追求して構築されたシステムは、人々が信念や意見を形成する方法に大きな影響を与える可能性があります。

Kiddは、機械学習に関わる男性達に広まる誤解についての話をしてスピーチを終えました。女性の同僚と一緒にいる事はセクハラ疑惑につながり、男性のキャリアを終わらせるという誤解です。その誤解は、男性のキャリアではなく、現場の女性のキャリアを傷つける可能性があると言う事です。

ロチェスター大学での性的違法行為について声を上げた事で、Kiddは2017年のTime Person of the Yearに選ばれました。女性に公平な扱いを求めるための#MeToo運動と呼ばれる運動の実現に貢献した他の女性達と一緒にこれを受賞しました。当時、Kiddは声を上げる事は彼女のキャリアを終わらせる事になると思っていました。

2020年は、彼女は、「技術的なツール」と「技術的な決定」が現実世界に影響を及ぼす意味についての認識が高まり、ツールを作成するメーカーは人々がそれらを使って何をするかについて責任を負わないという考えが否定されるようになれば良いなと考えています。

「多くの人が『まあ、私は真実か否かをモデレーターする立場の人間ではないから』と言って自分自身を擁護しようとする事を聞いたことがあります。」と彼女は言います。

「不正直なスタンスであるという認識を高める必要があると思います。」

「私たちは、社会として、特にこれらのツールに取り組んでいる人々として、付随する責任を直接評価する必要があります。」

３．機械学習のトップマインドによる2020年のAI予測(1/3)関連リンク

１）venturebeat.com
Top minds in machine learning predict where AI is going in 2020