2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)

１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)まとめ

・様々な立場の専門家による人工知能と機械学習分野の振り返りと展望
・ディープラーニングの進歩、機械学習の限界、自然言語処理手法の変化
・大きな技術的進歩はなかったと言う見方から恐怖が誇大宣伝された等様々

２．専門家による2018年のAIの進歩のまとめと2019年の展望

以下、www.kdnuggets.comより「Machine Learning & AI Main Developments in 2018 and Key Trends for 2019」の意訳です。元記事は2018年12月、Matthew Mayoさんの投稿です。人によって注目ポイントがまるで違うところが興味深いです。後半はこちら。

年の瀬に新年を迎えるにあたって、私達は2018年にあった最も重要なAIの発展と2019年の重要な傾向の予測について多数の機械学習とAIの専門家からの意見を求めました。

KDnuggetsでは、産業界、学術界、そして技術における主要な出来事や動向の動向を常に把握しています。地平線上に見え隠れする次なるトレンドを捜すために全力を尽くしています。昨年は、専門家の予測と分析を集めて記事にしましたが、今年はアンケートを実施しました。

「2018年の機械学習と人工知能の主な進歩は何ですか？また、2019年にはどのような主な傾向が予想されますか？」

以下は、Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas、Daniel Tunkelangからの回答です。

これらの専門家たちが選んだ主要テーマは、ディープラーニングの進歩、トランスファーラーニング、機械学習の限界、自然言語処理手法の変化などです。

先週、掲載した専門家への関連質問「2018年のデータサイエンスとアナリティクスの主な発展は何ですか、また2019年にはどのような主な傾向が予想されますか」も御覧ください。

１）Anima Anandkumar（@AnimaAnandkumar）NVIDIAのMLリサーチ担当ディレクター

2018年の機械学習と人工知能の主な進歩は何ですか？
「手の届きやすい場所にあるディープラーニングの果実は、ほぼ摘み取られました」

焦点は、標準的な教師つき学習から、半教師つき学習、ドメイン適応、能動学習(active learning )、および生成モデルなどのより困難な機械学習問題へ移行し始めました。GANは、フォトリアリズム(bigGAN)やビデオからビデオへの合成など、より難しいタスクに挑戦する研究者に非常に人気があり続けています。半教師付き学習を支援するために、単一のネットワーク内で生成と予測を組み合わせる代替生成モデル(例えば、ニューラルレンダリングモデル)が開発されました。

研究者達は、多くの科学分野にディープラーニングの適用を拡大しました。地震予知、材料科学、タンパク質工学、高エネルギー物理学および制御システムなど非常に広範囲にです。このような場合、その分野の固有の知識と制約は学習システムと組み合わされました。例えば、ドローンの自律着陸を改善するために、グラウンド・エフェクト(地面すれすれを飛行すると空気流の干渉を受けて揚力が発生する現象)は基本制御装置の学習に織り込まれ、学習結果が安定することが保証されました。これらは制御システムにおいて重要です。

2019年の予測
「AIはシミュレーションと現実を橋渡しし、より安全にします」

シミュレーションから現実の世界へシームレスに知識を転送するための新しいドメイン適応手法の開発が進むでしょう。シミュレーションを使用することで、データ不足を克服し、新しい分野や問題での学習をスピードアップできます。シミュレーションから実データへのAIの適応(Sim2real)は、ロボット工学、自動運転、医用画像処理、地震予知などに大きな影響を与えます。

シミュレーションは、自動運転のような安全が重視されるアプリケーションで起こり得るすべてのシナリオを確認するために最適な方法です。洗練されたシミュレータに構築された知識は、AIをより物理的に意識させ、堅牢にし、そして新しく目に見えないシナリオに一般化することを可能にするために斬新な方法で使用されます。

２）Andriy Burkov（@burkov）Gartnerの機械学習チームリーダー

これは私自身の実践者としての認識であり、研究に基づいたガートナーの公式声明ではありません。以下が私の考えです。

2018年の機械学習と人工知能の主な進歩は何ですか？
TensorFlowは学術世界でPyTorchに負けました。MapReduceとHadoopで既に起こったように、時々、Googleの莫大な影響力はマーケットを次善の方向に進ませるかもしれません。

(訳注:MapReduceはGoogleが開発した大規模データを分散処理する仕組みで先発だったのですが、それに触発されて開発されたオープンソースのHadoopが主流になりました。同様な事がTensorFlowでも起こり得るかもしれないと言っているようです)

Deepfakes(そしてその派生版)は、最も信頼できる情報源と思われていたビデオ映像の信頼性を破壊しました。誰もが「私はあの男がそれらの言葉を言っているのを見た。」と言うことができなくなります。私たちは何十年も前に印刷された言葉を信じることをやめました、しかしビデオは今まで揺るがすことができませんでした。

(訳注:DeepfakesはAIを使って容易に動画の一部を置き換えるツールでビデオの顔部分だけを置き換えるいわゆるコラージュが一部で爆発的に流行しました)

ディープラーニングのお蔭で強化学習が復活した事は予想外でクールな事でした。あなたに代わってレストランに電話をかけ、本当の人間のふりをするGoogleのシステムは、非常に画期的なものです。しかし、それは倫理とAIについて多くの疑問を投げかけます。

(訳注:Google Duplexの事です）

パーソナルアシスタントとチャットボットはすぐに限界に達しました。彼らはこれまで以上に優れていますが、みんなが昨年期待していたほど良くはありません。

2019年にはどのような主な傾向が予想されますか。

(1)皆さんのAutoMLへの期待が今年以上になる事を予期しています。私はそれが失敗する事も予期しています。画像認識、機械翻訳、テキスト分類などの非常に具体的で明確に定義されたユースケースを除けば、AutoMLが上手いかない可能性は高いです。上手くいくケースは、特徴量を手で抽出する必要がなく、生データが機械が入力として期待するものに近く、データは豊富にあるケースです。

(2)マーケティングの自動化：良くできたGANとオートエンコーダを使用すると、同一人物や同一風景をわずかに変えて何千もの写真を生成できます。わずかに異なった表情やムードに対して消費者がどのように反応するかに基づいて、最適な広告キャンペーンを生成できます。

(3)モバイル機器上で現実の人間と区別がつかないレベルのリアルタイム音声生成。

(4)自動運転タクシーはテスト/実証実験の段階に留まったままでしょう。

３）Pedro Domingos（@pmddomingos）は、ワシントン大学のコンピュータサイエンス＆エンジニアリング学科の教授

2017年はAIが誇大宣伝された年でしたが、2018年はAIの恐怖が誇張された年でした。メディアや何人かの研究者でさえ以下のような事を言っています。
・Cambridge Analyticaが2016年の選挙の勝利をTrumpにもたらした
・機械学習アルゴリズムが差別を行っている
・ロボットが私たちの仕事を奪いにやってくる、更に私たちの命を奪う
これらは話だけの問題ではありません。ヨーロッパとカリフォルニアは厳格なプライバシー法を可決しました、国連はAIなどを搭載した知的武器の禁止を討議しています。一般市民はますますAIは危険で不公平であるとネガティブな視線を向けています。2019年は健全性が戻ってくれば良いのですが。

４）Ajit Jaokar（@AjitJaokar）オックスフォード大学の主任データ科学者

2018年にはいくつかのトレンドが始まりました。AutoMLはその1つであり、強化学習はもう1つです。これら双方ともに、2019年に大幅に拡大するでしょう。

オックスフォード大学での私が教えている科目(IoTのためのデータサイエンスコース)の一環として、IoTが自律走行車、ロボット工学、スマートシティなどの大規模なエコシステムにますます織り込まれるようになってきています。Dobot(訳注：20万円弱で買える基礎的なロボットアーム)との作業を通じて、私は2019年の重要な傾向として新しいロボット工学、すなわち共同ロボット(Cobots)を予測しています。以前の組立ラインのロボットとは異なり、新しいロボットは自律的になり、感情を理解することができるようになります（私の授業では、この分野ではEmotion Research Labsとも協力しています）。

最後に、ちょっと物議を醸すような見解：2019年、データサイエンティストが果たす役割は研究から製品開発へと移行する傾向があるということです。人工知能は、次世代のデータ製品の作成により密接に関係していると思います。データサイエンティストの役割はそれに応じて変わります。

５）Nikita Johnson（@nikitaljohnson）RE.WORKの創設者

2018年に目にした進展の1つは、オープンソースツールの増加です。組織間のコラボレーションを強化し、参入障壁を下げ、すべての人がAIにアクセスできるようにするためにオープンソース文化は貢献しています。これらのコミュニティは、社会とビジネスのあらゆる分野にAIが広がることを確かな事にするために不可欠です。

同様に、2019年には、最近発表されたGoogleのAI for Social Goodプログラム、およびMicrosoftのAI for Goodイニシアチブに基づいて、「AI for Good」を重視する企業の数が増加するでしょう。企業がより高い社会的目的を持つことを社会が要求しているため、AIのポジティブな利用に向けての勢いを増しています。

６）Zachary Chase Lipton（@zacharylipton）カーネギーメロン大学の機械学習の助教授

まずは、機械学習とAIに関する一般的な議論の大部分を占める、ディープラーニングについて語り始めましょう。たぶん私は以下の議論で何人かの人々をいらいらさせるでしょうが、これは2018年の合理的な見解です。最大の進展は進展がなかったということでした！もちろんそれはあまりにも単純化した物言いですが、要点を解き明かすことができます。最大の進展のかなりの部分は、「チューニング」と「質的に新しいアイデア」にあります。

BigGANは巨大ですがGANです。GANを段階的に成長させることで、視覚的に非常に興味深い結果が得られました。これは、ある意味では大きな一歩ですが、方法論的には、巧妙に学習方法を改善したGANにすぎません。

自然言語処理では、今年の最大の話は、ELMOとBERTの文脈化されたEmbeddingでした。
そしてこれらは実験的ながら絶対的に素晴らしい進歩です。しかし、2015年から16年にAndrew DaiとQuoc Leが小規模ながら言語モデルの事前トレーニングとダウンストリーム識別のチューニングをしています。

ですから、おそらくもっと皮肉な解釈は、今年は新しい「ビッグアイディア」に支配された年ではなかったということです。

反対に、ポジティブな解釈は既に発表されたテクノロジーがまだ完全に使いこなされていない事とハードウェアが急速な進歩に発展している事になるかもしれません。ここ3～4年で生み出されシステムやツールには、新しいハードウェアによって第二の発展が待っているかもしれません。

私は今、生み出されている多くの新鮮なアイデアは深層学習の新しい理論をベースにしていると思います。 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebroなど、たくさんの研究者がいて、とてもエキサイティングな仕事をしています。

あまりにも長い間、私たちは厳密ではあるが実行を忘れることが多い第一原理理論を持っていました。それから、「実証的な機械学習」。それは科学ではありますが、リーダーボードの追跡に重点が置かれています。

昨今、理論と実験がより密接に結びついている新しい研究スタイルが始まっています。実験に触発された理論論文、実験を行う理論論文が見え始めています。最近、私は理論ペーパーからアイデアを得るという感動的な経験をしました。それは私が見つけることが期待できなかった自然現象を本当に明らかにしました。

2019年以降、機械学習の応用分野で清算があると思います。私たちは問題を「解決する」と主張する実用的な領域に突入していますが、これまでのところ私たちのツールボックスにおける唯一の信頼できるハンマーは教師有り学習です。

教師付きモデルは関連性を見つけますが、正当化するものではありません。時間の経過とともに変化する可能性があるという意味で、彼らはどのような情報が信頼でき、どのような情報が脆いのかを知りません。これらのモデルは介入の影響を私たちには伝えません。また、対話型システムで教師付き学習に基づく自動化システムを導入する場合、それらがインセンティブを歪めて環境を変えることで、環境そのものを壊す事もあります。

(訳注:強化学習における人工知能の予想外の行動について言っていると思われます)

来年には、多くのケースで機械学習プロジェクトが廃止されたり、まさに前述の制限によってトラブルに遭遇するのを目にすると思います。コミュニティのより創造的なメンバーの間では、ファンクションフィッティングのリーダーボードに焦点を当てる事から離れて、特徴表現学習と因果推論の間のギャップを埋める問題に焦点を当てる動きが見られる事になるでしょう。

(2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)に続きます)