人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(2/3)

１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(2/3)まとめ

・高速なトレーニング手法の研究、使い勝手の良いハードウェアを用いた高速トレーニング
・より多くのデータと計算機資源を投入する事でより良い結果が得られる時代の限界
・マイクロコントローラーユニットと呼ばれるテクノロジーとその上で動く機械学習モデルの発展

２．ゴルディロックス エラ(丁度良い時代)の到来

(4)Andriy Burkov(@burkov) Gartnerの機械学習チームリーダー、Hundred-Page Machine Learning Bookの著者

主な進歩は、間違いなく、ほぼ全てのタスクでNLPの品質を向上させた言語モデリングニューラルネットワークモデルであるBERTです。Googleは、これを関連性を把握する主要なシグナルの1つとして検索エンジンに採用しました。これはここ数年間で最も重要な進歩の一つです。

私の意見では、主要な傾向は、業界内でのPyTorchの更なる普及、より高速なニューラルネットワークトレーニング手法の研究の増加、および使い勝手の良いハードウェアを用いたニューラルネットワークの高速トレーニングです。

(5)Georgina Cosma(@gcosma1) Loughborough大学の上級講師
2019年は、様々な複雑なコンピュータービジョンタスク、特にリアルタイムオブジェクト検出のための、YOLOv3などのディープラーニングモデルの優れた機能を評価しています。

また、Generative Adversarial Networksは、引き続きディープラーニングコミュニティの関心を集めています。例えば画像合成元にImageNetを用いたBigGANモデルや人間の画像を合成するStyleGANなどです。

今年、ディープラーニングモデルを騙すのが如何に簡単であるかも知られるようになりました。いくつかの研究では、ディープニューラルネットワークが敵対的なサンプルに対して脆弱である事も示されました。

また、2019年には、顔認識、人材採用、および法的用途に、バイアスを内包しているAIが使われて、意思決定の参考情報とされる事態を見てきました。

2020年には、汎用で多目的用途に設計されたマルチタスクAIモデルの開発が期待できます。また、AIは健康、金融サービス、自動車、その他多くの分野で意思決定のやり方を変えていくため、倫理的なAIモデルの開発への関心が高まる事を期待しています。

(6)Pedro Domingos(@pmddomingos)ワシントン大学コンピューター科学工学部教授

2019年の主な進展
1)文脈を意識したembeddingsが急速に使われるようになった事
それらが使われるようになってからまだ2年未満ですが、現在はNLPを支配しており、Googleは既に検索エンジンにそれらを展開しており、報告によると検索の10分の1を改善しています。視覚情報から言語まで、大規模データでモデルを事前トレーニングし、特定のタスクに合わせてモデルを調整することが標準的な作業となりました。

2)double descent現象の発見
過度にパラメーター化されたモデルがトレーニングデータに完全に適合しながらどのように一般化されるのかについての理論的理解は、特にモデル容量が増加するにつれて一般化誤差が低下、上昇、そして再び低下するという観察により、大幅に改善されました。これは古典的な学習理論の予測に反する出来事でした。

3)AIの進歩に対するメディアと一般の人々の認識は、より懐疑的になりました。自動運転車や仮想アシスタントの派手なデモが額面通りに行われなかったため、過度な期待が減りました。

2020年の主な傾向
1)視覚や音声認識などの低レベルの知覚タスクから、言語理解や常識の推論などの高レベルの認知タスクに「段階を踏んでいく」という深層学習者達の試みは、スピードを上げていくでしょう。

2)より多くのデータと計算機資源を投入する事でより良い結果が得られる時代は限界に達します。これは、ムーアの法則よりも急な指数関数的に上昇するコスト曲線のためであり、すでに裕福な企業でさえ負担に感じる状況です。

3)運が良ければ、AIについての過度の誇大広告もない、AIの冬の時代もやってこないないちょうど良い時代(Goldilocks era)に入ります。

(7)Ajit Jaokar(@AjitJaokar)オックスフォード大学の「Artificial Intelligence: Cloud and Edge implementations」コースのコースディレクター

2019年、オックスフォード大学のコースを「Artificial intelligence: cloud and edge implementations」に名称変更しました。これはまた、私の個人的な見解を反映しています。つまり、2019年はクラウドが成熟した年でした。

私たちが話している様々なテクノロジー(ビッグデータ、AI、IoTなど)がクラウドのフレームワーク内で同時に使えるようになった1年でした。このトレンドは続き、大企業は「デジタル変革」イニシアチブを実施するようになり、クラウドを統合パラダイムとして使用して、AIによって駆動されるプロセスに変換していきます。(リエンジニアリングによって達成されるcorporation 2.0のようなもの)

2020年には、NLPの成熟も見られるようになるでしょう。(BERTやMegatronなど)。5Gは引き続き展開されます。 5Gが2020年以降に完全に展開された場合、自動運転車など、IoTの幅広いアプリケーションが見られるようになります。最後に、IoTの分野では、MCU(マイクロコントローラーユニット)と呼ばれるテクノロジー、特にMCUの上で動く機械学習モデルが発展していくでしょう。

AIはゲームチェンジャーであり、毎日AIの使用例に関する魅力的な例を見る事になると思います。Alvin Tofflerがfuture shockで予測したことの多くは、今日私たちに既に起こっています。(訳注：アルビン・トフラーは米国の未来学者で「未来の衝撃」という1980年代に書いた本でデジタル革命や情報化社会の到来を予想した人です)

AIがこの変革をどのように増幅していくのかはまだ分かりません！悲しいことに、AIが起こす変化は多くの人々を置き去りにしていきます。

３．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(2/3)関連リンク

１）www.kdnuggets.com
AI, Analytics, Machine Learning, Data Science, Deep Learning Research Main Developments in 2019 and Key Trends for 2020