AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(2/3)

１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(2/3)まとめ

・年末恒例のAIやデータサイエンス分野の2020年の進展と2021年のトレンド予測リサーチ編
・従来はデータからモデルを学習したが学習済みモデルから推論する手法が生まれるかも
・2021年にはオンライン業務／学習ツールの品質が倍以上に高まるかもしれない

２．人工知能やマシンラーニング界隈の2020年の振り返りと2021年の予測

以下、www.kdnuggets.comより「AI, Analytics, Machine Learning, Data Science, Deep Learning Research Main Developments in 2020 and Key Trends for 2021」の意訳です。元記事の投稿は2020年12月、Matthew Mayoさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Gio Almonte on Unsplash

(2)Pedro Domingos(@pmddomingos)ワシントン大学のコンピューターサイエンス & エンジニアリング学部の教授

私の考えでは、2020年の主な進展は、主要な研究の方向性としてのグラフニューラルネットワーク(GNNs:Graph Neural Networks)とニューロシンボリックAI(neuro-symbolic AI)の出現でした。2021年には、後者が前者を包含していると思います。

GNNsは限定的な関係学習(relational learning)であり、やがてGNNsが行える全ての事＋αを達成可能なニューロシンボリックアプローチができるようになります。

この後、特定のアプリケーションの表現力を調整する際の問題は、主に制御問題と規模拡大した際の過剰適合問題となります。最大級の課題は、ニューロシンボリックAIが人間レベルのAIにどれだけ到達できるかであり、これは1兆ドル規模のインパクトです。

訳注：グラフ関係の記事には下記があります。
グラフデータを機械学習で扱いやすくするための革新(1/3)
グラフデータを機械学習で扱いやすくするための革新(2/3)
グラフデータを機械学習で扱いやすくするための革新(3/3)
SLaQ：大規模データの形状を理解する(1/2)
SLaQ：大規模データの形状を理解する(2/2)

シンボリックAIは、ニューラルネットワーク以前の第一次AIブームの頃に流行していた手法で、知識を人間が記号(シンボル)化して、そのシンボルを扱う人工知能を作り上げようとする試みでした。あらゆる知識を人間が記号化するのは土台無理であろうという想像はつくと思いますが、実際無理だったのですが、一旦、シンボル化が出来たものに対しては人間が理解しやすいルール設定が出来たであろう事も想像がつくと思います。ニューラルネットワークは逆で知識の学習はモデルに任せるので、人力より遥かに多く学習できるけれども、何を学習したのかは人間にとって理解しがたいアプローチです。ニューロシンボリックAIは両者のいいとこどりをしようというアイディアで、ニューラル方面からのアプローチとシンボリック方面からのアプローチがあります。なお、2019年末時にもIBMの人が2020年に注目している技術とコメントしてます。

(3)Ajit Jaokar(@AjitJaokar)は、オックスフォード大学の「人工知能：クラウドとエッジの実装」コースのコースディレクター、起業家

2020年はCOVIDの年でしたが、テクノロジーの年でもありました。 AIはMLOpsの展開を通じて成熟しました。クラウドプラットフォーム(例：AWS、Azure、GCP)は、エッジデバイス上のAIを含むAIのすべての分野でイノベーションを推進し続けています。NVIDIAがARMを買収した後、この分野でさらに多くのイノベーションが見られることを期待しています。

AIの世界では、大きなトレンドはNLP(GPT-3およびその他のモデル)でした。2021年の本当の課題は、小数ショット学習モデル(GPT-3など)によるモデルの構築手法の変更ではないでしょうか。

従来の順番はデータ→モデルであり、問題が反映されているデータを使ってモデルを構築しますが、それを反転させることができます。例えば、モデル → 問題 → 推論など。

非常に大きなモデルであればモデルをスタート地点としたフォワードパスを考えることができます。もちろん、GPT-3のような大規模な事前トレーニング済みモデルが必要です。この傾向が軌道に乗れば、今後2年間でAIに変化をもたらすでしょう。

訳注：生成を目的として学習したモデルから推論に使える情報を抜き出した事例としてはImage GPTがあります。

2021年には、従来の機械学習モデルは、誰もが何らかの形の基本的なMLまたはDLを使用するという意味で商品になる可能性があります。従って、データサイエンスから意思決定サイエンスに移行することができます。データサイエンスの出力は、パフォーマンス基準(精度など)を備えたモデルです。ディシジョンサイエンス(decision science、意思決定科学)では、アクションを提案してこれらのアクションを実行することで、これを更に前進させる事ができます。つまり、強化学習のようなアルゴリズムは2021年以降に重要なパートとなる可能性があります

(4)Ines Montani(@_inesmontani)は、人工知能と自然言語処理技術に取り組んでいるソフトウェア開発者、Explosionの共同創設者

2020年は特別な年であり、この分野で多くの刺激的な進歩が見られましたが、私の意見としては、最も重要な進展は「革命」ではなく「整備」に関するものでした。

過去数年間、テクノロジーは急速に進化していたため、多くの企業にとって、待つのが賢明でした。その打算は現在変更されており、どのプロジェクトが成功する可能性が高いかについての理解がはるかに進んでいます。

試作品の作成と機械学習のビジネス上の問題への適用はかつてないほど容易になりましたが、依然として困難なのは、試作品作成後に、成功したプロジェクトとして製品出荷する際のギャップを埋めることです。

2021年には、試作品作成から本番まで、反復型開発から継続的なメンテナンスとモニタリングまで、機械学習プロジェクトのライフサイクル全体にさらに焦点が当てられる可能性があります。

(5)Brandon Rohrer(@_brohrer_)は、iRobotのプリンシパルデータサイエンティスト、機械学習のインストラクター

畳み込みニューラルネットワークとリカレントニューラルネットワークは、すべての問題を私たちが望むように解決できるわけではないことを示し始めています。今年の2つの論文は、この傾向を要約しています。論文「The Hardware Lottery」は、アルゴリズムが目立つようになり、業界標準として定着するために、どれだけの偶然が関与する可能性があるかを説明しています。

また、大作論文の「Underspecification Presents Challenges for Credibility in Modern Machine Learning」は、モデルの評価と進捗状況の測定手法に厳しい光を投げかけています。これらは良いことです。 2021年には、必要に応じて、関連する新たな問題の調査と解決に投資することができます。

また、選択の余地がないため、リモートインストラクション、分散チーム、非同期作業のためのツールとプラクティスの開発が急がれています。2020年の機械学習研究環境は、2019年の私たち自身には認識できません。2021年には、オンライン指導とコラボレーションの品質が倍以上に高まると予測しています。