１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ
・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待
・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測
・顔認識AIなど個人のプライバシーに関する倫理的問題が表面化する可能性もある
２．大規模モデルと自己教師学習の追求
以下、venturebeat.comより「Top minds in machine learning predict where AI is going in 2020」の意訳です。元記事の投稿は2020年1月2日、KHARI JOHNSONさんによる投稿です。
気候変動との戦いの話が少し出てきますが、GAN’S Fatherと呼ばれるIan Goodfellowさんがかなり昔に、飛行機の二酸化炭素排出量が気になるので何かのカンファレンスに出席しない事にした、というニュアンスの投稿をTwitterにしていた事を何故か突然思い出しました。
正直に書きますが、当時、それを読んだ私は何かのアメリカンジョークなのかなと思ったんです。環境活動家のグレタさんが日本で話題になるよりずーっと前の話なので良くわからなかったのです。
最近ではそういった炭素排出量が多い乗り物の利用を極力避ける話は良く聞くのですが、機械学習のトップマインドと言われる人達は研究や仕事だけに打ち込んでいるのではなく、相当時代を先取りしてて、広い目で世界を俯瞰して真剣に機械学習を使って世界を良くしていこうと考えてるんだなぁ、と改めて感銘を受けます。
アイキャッチ画像はPhoto by Drew Beamer on Unsplash
３．Jeff Dean(Google AIのチーフ)
DeanはGoogle AIを2年近く率いていますが、20年間Googleに在籍し、同社の初期の検索および分散ネットワークアルゴリズムの多くの設計者であり、Google Brainの設立メンバーの一人です。
Deanは先月、NeurIPSでVentureBeatのインタビューで、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)半導体設計に機械学習を使う事とAIコミュニティが気候変動に立ち向かう方法について講演しました。気候変動に関する講演で、Deanは、AIがゼロカーボン産業(炭素排出が実質的にゼロな産業)になるよう努力することができ、AIを使用して人間の行動を変えることができるという考えについて議論しました。
彼は、2020年にマルチモーダル学習(音や画像など複数のメディアから学習可能なAI)と、マルチタスク学習(複数のタスクを一度に完了するように設計したネットワーク等)の分野での進歩を期待しています。
2019年の機械学習の最大のトレンドの1つは、近年、AIの最大のブレークスルーの1つと前項でも言及されたTransformerをベースとする自然言語モデルの継続的な成長と普及である事は明確です。
Googleは2018年にTransformerをベースとするモデルであるBERTをオープンソース化しました。GLUEリーダーボードによると、今年リリースされた多くの最高性能のモデル、GoogleのXLNet、MicrosoftのMT-DNN、FacebookのRoBERTaなどは、全てTransformerをベースとしていました。XLNet2は今月中に発表される予定だ、と同社の広報担当者はVentureBeatに語りました。
Deanは「私達が以前よりも高度なNLPタスクを実行する機械学習モデルを実際に生成出来るという点で、様々な人工知能研究が全体として非常に実り多い年だったと思います」と述べ、進捗状況を指摘しました。
しかし、彼はまだ成長の余地があると付け加えました。「私達は、更に多くの文脈を理解するモデルを実行できるようにしたいと考えています。 現在のBERTや他のモデルは単語数が数百であればうまく機能しますが、10,000以上の単語を含む文脈では機能しません。ですから、規模の追求は一種の興味深い方向です。」
Deanは、より堅牢なモデルを作成する事を優先するために、最新技術をわずかに進歩させる事にはあまり注力したくないと言いました。
Google AIは、2019年11月に導入された社内プロジェクトである、Everyday Robotなど、家庭や職場で一般的なタスクを実行できるロボットを開発するための新しいイニシアチブの推進にも取り組んでいくようです。
４．Anima Anandkumar(Nvidiaの機械学習研究ディレクター)
Anandkumarは、AWSでの主任科学者としてのキャリアの後、GPUメーカーのNvidiaに加わりました。Nvidiaでは、ヘルスケアのための連合学習(federated learning)や自動運転、スーパーコンピュータ、グラフィックスに至るまで、AIの研究を様々な分野で継続しています。
2019年にNvidiaとAnandkumarが重点を置いた分野の1つは、強化学習のシミュレーションフレームワークでした。強化学習は人気があり成熟している研究分野です。
2019年、NvidiaからはDrive autonomus driving platformとIsaac robotics simulator、及びGANで合成データを生成するモデルが登場しました。
昨年はStyleGAN(コンピューターで生成されたのか実在の人物なのか見分けがつかないレベルの画像を生成できるAI)やGauGAN(絵筆で書いたような風景を生成できるAI)が登場しました。StyleGAN2は先月デビューしています。
GANは現実の境界線を曖昧にする可能性のあるテクノロジーであり、Anandkumarは、ロボットハンドのグリップや自動運転など、AIコミュニティが取り組んでいる主要な課題を支援できると考えています。
Anandkumarは、反復アルゴリズム、自己教師学習(教師役無しで学習するアルゴリズム)、など、ラベル付けされていないデータを使用して学習を行う事ができるタイプのモデルが今後一年で進化する事も予測しています。
「様々な異なった反復アルゴリズムを実行する事はこれからの方向性になると思います。なぜなら、1つのフィードフォワードネットワークだけを訓練すると、堅牢性が問題になるからです。多数の反復を試行し、必要なデータの種類または必要な精度の要件に基づいて反復を調整する場合、成功の可能性がはるかに高まります」と彼女は言いました。
Anandkumarは、2020年のAIコミュニティにとっての課題として、特定領域の専門家と協力して特定の業界向けに特別に作成されたモデルを作成する必要性などを認識しています。また、政策立案者、個人、およびAIコミュニティは、表現の問題や、モデルのトレーニングに使用されるデータセットが様々な人々に対する説明責任を持つという課題に取り組む必要があります。
「(顔認識AIの問題は)非常に簡単に理解できると思いますが、データの使用にプライバシーの問題があることに気づいていない他の分野は非常に多くあります」と彼女は言います。
Anandkumarは、顔認識AIが最も注目されるようになれば、個人のプライバシーが侵害される方法を理解する事が簡単になると言いました。しかし、2020年にAIコミュニティが直面する倫理的問題は他にもたくさんあります。
「データの収集方法と使用方法の観点から、規制が強化されます。ヨーロッパではそれが起こっていると思いますが、米国ではそれ以上のものが見られます。最もな理由で、国家運輸安全委員会(NTSB)や連邦交通局(FTA)などのグループによるものです」 彼女は言いました。
Anandkumarの見解では、2019年の大きな驚きの1つは、テキスト生成モデルが進歩でした。
「2019年は言語モデルの年でしたね。今、歴史上初めて、一貫性のあるテキストの生成を、段落規模の長さで生成という到達点に到しました。これは、以前は不可能でしたので、それは素晴らしいことです」とAnandkumarは言いました。
2019年8月、NvidiaはMegatronと名付けた自然言語モデルを発表しました。80億のパラメーターを持つMegatronは、世界最大のTransformerベースのAIモデルとして知られています。Anandkumarは、人々がニューラルネットワークモデルを個性を持つものとして名付け始めた事に驚いたと言い、さらに特定業界に固有のテキストモデルを見ることを楽しみにしています。
訳注：Megatronは色々な意味を持つ単語ではありますが、Transformerベースのと言うところにひっかけて、変形ロボット玩具シリーズの「トランスフォーマー」に登場するデストロン(Decepticons)軍のリーダーのメガトロン(Megatron)を意識した命名だと思われます。BERTとELMOがセサミストリートからの命名でこれは言語モデルから言語教育番組を意識した命名なのだと思いますが、キャラクター付けされると覚えやすくはありますね。ちなみにMegatronはのバージョンアップ版はGalvatronという命名になると思います。
「私達はまだインタラクティブに対話形式の文章を自動生成させる事、つまり、AI同士に自然な対話を続けさせる事はできていません。そのため、2020年にはその方向でさらに深い研究が行われると思います」
文章を自動で生成するAIを制御するためのフレームワークの開発は、例えば、人またはオブジェクトを画像から識別するAIを訓練するフレームワークの開発よりも困難です。また、テキスト生成モデルには、ニューラルモデルに対して「事実」が何であるのかを定義するという課題なども伴います。
最後に、Anandkumarは、NeurIPSでのKiddのスピーチがスタンディングオベーションを獲得し、機械学習コミュニティが円熟し、一体感が高まってきている兆候を見る事ができて心強いと言いました。
「今が分水界の瞬間だと思います」と彼女は言いました。「最初は小さな変更を加えることすら難しい場所であっても、やがて小さな変更からダムは壊れます。 私はそのように感じており、それがそうなる事を願っています。そして勢いを維持し、さらに大きな構造的変革に繋がり、全てのグループ、ここにいる全ての人々が繁栄する事を私は願っています」
３．機械学習のトップマインドによる2020年のAI予測(2/3)関連リンク
１）venturebeat.com
Top minds in machine learning predict where AI is going in 2020
コメント