AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(1/3)

１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(1/3)まとめ

・年末恒例のAI分野の今年の進展と来年のトレンド予測のリサーチ編
・2020年の進展はTransformerを使ったGPT-3などの言語モデル、強化学習、GAN
・2021年は確率的プログラミング、GPT-4、構造化データ用のGPU、AutoMLなど

２．人工知能やマシンラーニング界隈の今年の振り返りと来年の予測

以下、www.kdnuggets.comより「AI, Analytics, Machine Learning, Data Science, Deep Learning Research Main Developments in 2020 and Key Trends for 2021」の意訳です。元記事の投稿は2020年12月、Matthew Mayoさんによる投稿です。

年末恒例の今年の振り返りと来年のトレンドの予測シリーズです。辛い事や悲しい事があっても時間も電車も定刻通り前に進むのみですね。アイキャッチ画像のクレジットはPhoto by Gio Almonte on Unsplash

2020年がようやく終わりに近づいています。誰もが良かった年として記憶される事はないでしょうが、2020年は私達が専門とするフィールドでいくつかの注目すべき進歩がありました。2021年には楽しみないくつかの重要なトレンドが約束されています。年末の伝統となりましたが、私達は専門家集団から再び彼らの来年の展望を教えてもらいました。詳細については、以下をお読みください。

誰も残念とは思わないかもしれませんが、2020年はようやく終わりに近づいています。それは1年間のジェットコースターであり、COVID-19パンデミックによってほぼ独占的に定義されたものです。

しかし、AI、データサイエンス、機械学習の分野では、他のことが起こっています。そのために、KDnuggetsの年末の専門家による分析と予測が必要です。

今年、私たちは以下の質問を投げかけました。

2020年のAI、データサイエンス、機械学習研究の主な進展は何でしたか？また、2021年の主な傾向は何ですか？

昨年注目された主な進展と予測には、多くの研究分野が含まれていましたが、特にNLPにおける継続的な進歩が注目されていました。2020年のNLPの大きな進歩が、当初考えていた(または考え続けた)ほど恐るべきものであったかどうかについては議論の余地がありますが、2020年にNLP研究が継続的かつ集中的に焦点が当てられたことは間違いありません。これが2021年まで続くと推測するのは難しいことではありません。

2019年に倫理や多様性などのトピックが注目を集め、昨年も引き続き関心の中心に留まりました。多様性と倫理に関連する事柄は、機械学習の周辺の懸念として見なされる事から、それらをテクノロジーと並んで中心的な考慮事項と見なす事への移行があったようです。この傾向が2021年以降も続くことを期待しましょう。

私達が意見を求めた有識者は2020年の主な進展として何を見ていたのでしょうか？そして彼らは2021年の最も可能性の高い主要な傾向として何を見ているのでしょうか？今年、私達が依頼したのは、Dan Becker, Pedro Domingos, Ajit Jaokar, Ines Montani, Brandon Rohrer, Dipanjan Sarkar, Rosaria Silipo, Rachael Tatman, そして Daniel Tunkelangです。例年に増して、私達は彼らの洞察を読者と共有するために、これらの激動の時代に彼らの忙しいスケジュールから時間を割いてくれた貢献者に感謝します。

このシリーズは来週に続く３連投稿の最初のものです。リサーチ編、テクノロジー編、インダストリー編に分割されますが、これらの分野の間にはかなりの理解可能な重複があります。そのため、公開された3つすべてをチェックすることをお勧めします。

それでは本題に入りましょう。以下が今年の専門家グループによる2020年の主要な傾向と2021年の予測です。

(1)Dan Becker(@dan_s_becker) Decision AIの創設者、以前にKaggle Learnを設立

MLの研究は、今年、いくつかの確立されたテーマに従いました。

1)Transformer
GPT-3は、今年最も注目を集めた開発であり、巨大な言語資料でトレーニングされたTransformersモデルの継続的な進化を示しています。また、歴史的に畳み込みネットワークによって支配されていたコンピュータービジョンにTransformersを使用する最初の成功した実験も見ました。

訳注：具体的にはImage GPTやViTを参照してください。

2)生成モデル
Vid2Playerのような研究では、コンピューターで生成されたビデオが、従来手法を超える高い品質レベルに達しました。生成モデルの社会的影響は巨大で予測が難しいでしょう。

訳注：負の側面ですが、GANで生成された顔写真をSNSプロフィールに使って投稿者の人格を偽って偏った主張を投稿するSNSアカウントが最近確認されています。

3)強化学習
2020年は過去数年間よりも強化学習への注目が薄れました。しかし、論文One Policy to Control Them Allのタスク間転移学習は、非常に有望に見えます。これは、今後数年間はGPT-3ほど重要ではないと思いますが、長期的にははるかに重要になる可能性があります。ほとんどの人は強化学習がより確実に機能するようになると、強化学習が巨大な影響を与える事に気づいていません。

訳注：One Policy to Control Them Allは7月に発表された論文で、通常は特定のエージェントに合わせて学習制御ポリシーを設定するところを、多種多様なエージェントを制御する単一のグローバルポリシーを設定できるかを調査した研究です。調査の結果、単一のポリシーで一脚のホッパー、四足歩行、二足歩行などの異なる骨格構造を持ついくつかのエージェントの移動動作を正常に扱う事ができたとの事です。末尾にリンクを張っておきます。

2021年

1)確率的プログラミングとベイズモデル
新しい確率的プログラミング言語で多くの実験を見てきました。これは、5年前にディープラーニングフレームワークで見た実験を思い出させます。したがって、確率的プログラミングが2021年の重要なトレンドになることを願っていますが、ユーザーが新しいツールを利用するには、より多くの教育が必要になります。

2)GPT-4
GPT-3を試す人が増えるにつれ、GPT-3は実用的な使い方をするためにはほんの少し足りないことがわかると思います。最近の傾向から推定すると、GPT-4ははるかに優れており、実用的な有用性のしきい値を超える可能性があります。

3)構造化データ用のGPU
NVIDIA RAPIDSチームは、過去10年間に見られなかったようなレベルの急劇な高速化を約束するデータサイエンスツールを作成しています。私の感覚では、このソフトウェアはまだ最盛期を迎える準備ができていませんが、それは2021年に来る可能性があります。

4)AutoMLの普及
ほとんどのデータサイエンティストは、試行錯誤な実験を通じてパラメータを調整しています。私達全員がより多くの自動化ソリューションを使用するようになるのは時間の問題であり、その時は来年になるかもしれません。

5)強化学習の実用
これが私が最も興奮していることです。従来の機械学習は予測に重点を置いています。しかし、これらの予測を実際のビジネス上の意思決定に最適化出来るデータサイエンティストはほとんどいません。これにより、モデルは正確であっても役に立たずになりました。2021年には、複雑な環境で最適な意思決定を行うためにモデルを使用するというアイディアが用いられるような変化が見られるでしょう。