ICLR 2020におけるGoogleの存在感

１．ICLR 2020におけるGoogleの存在感まとめ

・エチオピアで開催予定だったICLR2020が完全バーチャル会議として開催
・Google AIブログで概要が発表済みの論文も9つ存在するので要チェック
・BERTが76分でトレーニング出来てしまう時代に人類は突入した

２．ICLR 2020とは？

以下、ai.googleblog.comより「Google at ICLR 2020」の意訳です。元記事の投稿は2020年4月26日、Christian Howardさんによる投稿です。

以前、カナダでアフリカ大陸からのカンファレンス出席予定者の入国許可が下りないという事件があり、アフリカ大陸の人が出席しやすいように配慮してICLR 2020はエチオピアの首都、アジス・アベバで開催予定でしたが、COVID-19の影響で完全にヴァーチャルな会議となりました。

アイキャッチ画像はアジス・アベバの麦畑でクレジットは、Photo by Gift Habeshaw on Unsplash。

今週は、第8回学習表現に関する国際会議(ICLR:International Conference on Learning Representations 2020)の始まりです。

この会議は、機械学習のためにデータから意味のある有用な特徴表現をどのようにして学習できるかに焦点を当てたカンファレンスで、(COVID-19の影響で)完全に仮想会議として開催されます。

ICLRは会議とワークショップを提供し、どちらにも、ディープラーニング、メトリックラーニング(metric learning)、カーネルラーニング(kernel learning)、組成モデル(compositional models)、非線形構造化予測、そして非凸最適化に関する問題など、最新の研究のいくつかの口頭およびポスタープレゼンテーション、招待講演が含まれます。

ICLR 2020のダイヤモンドスポンサーとして、Googleは組織委員会やワークショップへの参加に加えて、80を超える論文を発表し、仮想会議でも強力な存在感を発揮しています。

ICLR 2020に参加登録している場合は、私たちの講演を視聴し、何十億もの人々の興味深い問題を解決するためのGoogleのプロジェクトと機会について学んでいただければ幸いです。ICLR 2020で発表される私たちの研究の詳細については、以下のリストをご覧ください。

・・・・・

以下、とっても長いリスト

Officers and Board Members 3
Organizing Committee 2
Area Chairs 22
Publications 89
Workshops 4

Publicationsの中でGoogle AIブログで既に概要が発表済みのもの(つまり本ブログで翻訳済みなもの)が11ありました。強化学習系の話題が多いのですが、下記を読んでおけば「ゴールデンウィーク中はICLR 2020の論文を数点ピックアップして概要をチェックしたりしてstay homeしてました」とサラッと言えちゃいます。

(1)SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference

(2)Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning

(3)ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

(4)ES-MAML: Simple Hessian-Free Meta Learning

(5)ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

(6)Dream to Control: Learning Behaviors by Latent Imagination

(7)Model Based Reinforcement Learning for Atari

(8)Neural Tangents: Fast and Easy Infinite Neural Networks in Python

(9)Reformer: The Efficient Transformer

(10)Adjustable Real-time Style Transfer, You Only Train Once: Loss-Conditional Training of Deep Networks

(11)Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples

ICLRにおけるGoogleの過去の存在感

ICLR2019におけるGoogleの存在感
カンファレンスポスター　55
ワークショップ　　　　　8
Googleからの参加者　　　200

ICLR2018におけるGoogleの存在感
カンファレンスポスター　46
ワークショップポスター　26
Googleからの参加者　　　130

幾つか気になったもの
(1)Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes
えぇ～、BERTが76分でトレーニング出来てしまう時代なんですか！？まぁ、でもTPU v3 Podの1024チップを使った上での記録のようですけれども。

(2)Detecting and Diagnosing Adversarial Images with Class-Conditional Capsule Reconstructions
ヒントン先生のカプセル。敵対的サンプルとカプセルネットワークの関係についての研究。もし、敵対的サンプルが畳み込みネットワークが位置関係を把握できてない事に起因しているのであれば、位置関係を把握してオブジェクトとして物体を認識を試みるカプセルネットワークは敵対的サンプルに対して堅牢なのだろうなと思います。