Google AI Residency Program 2017の成果の一部

１．Google AI Residency Program 2017の成果の一部まとめ

・Google AI Residencyプログラムの成果の一部を紹介
・人間と機械の両方に影響を及ぼす敵対的データ、安全強化学習など
・2019年のGoogle AI Residencyプログラムも受付が開始されている

２．Google Brain ResidencyからGoogle AI Residencyへ

以下、ai.googleblog.comより「Highlights from the Google AI Residency Program」の意訳です。

2016年に、最初のGoogle Brain Residencyクラスを迎え入れました。このクラスでは、機械学習とディープラーニングの研究でキャリアを開始することを目的とした選抜された27人が12ヶ月のプログラムを体験しました。それ以来、このプログラムは急速に成長し、Google AI Residencyに発展しました。これは参加者が、機械学習の研究やそのアプリケーションを扱う幅広いグループのGoogle AIチームに加わる機会を提供しています。

第二陣のResidencyクラスの参加者の業績は、第一陣の業績に負けず劣らず顕著であり、複数の作品をさまざまな分野で発表しました。機械学習、ロボティクス、ヘルスケア、カンファレンス、そしてジャーナルなどで第一線の成果を出しています。成果の主なトピックは次のとおりです。

・人工知能の視覚と人間の視覚の両方に影響を及ぼす敵対的データに関する研究

・ロボットがより安全に学習できるように取返しのつかない行動を抑止する強化学習アルゴリズム

・前例のない10,000層以上の深さのニューラルネットワークの訓練を可能にする初期化方法

・より大きなミニバッチを使用してトレーニングをよりスケーラブルにする方法
（ImageNetを使ったResNet-50に適用し、精度を損なうことなくトレーニング時間を短縮）

・などなど…

この実験は、人間の視覚が時間限定的な敵対的データに対してどのような反応を示すかを初めて実証しました。詳細は、NIPS 2018で発表の「Adversarial Examples that Fool both Computer Vision and Time-Limited Humans」を参照

安全強化学習のアルゴリズムは、ロボットが取り消すことのできない行動を取る事を防ぎます。詳細については、ICLR2018で発表の「Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning」を参照

極端に層が多いディープなCNNも特別に設計された（Delta-Orthogonal）初期化を使用するだけで特別なトリックを使用する事なく訓練することができます。MNIST（上図）およびCIFAR10（下図）のテスト（実線）およびトレーニング（点線）曲線。詳細については、ICML 2018で発表の「Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks」を参照

シンプルなスケーリングルールを適用する事で、SGDバッチサイズを増やし、精度を犠牲にすることなくモデルを訓練するために必要なパラメータ更新回数を削減する事ができます。これにより、モデルトレーニングの時間を大幅に短縮することができます。詳細については、ICLR 2018で発表の「Don’t Decay the Learning Rate, Increase the Batch Size」を参照

Google AIの2017年のResidencyクラスが卒業し、彼らが次のキャリアとしてエキサイティングなステージを追求しはじめた後、2018年のResidencyクラスのメンバーがすぐに彼らの席を引き継ぎました。さらに、この新しい2018年のクラスは、知覚、アルゴリズム、最適化、言語、医療などより沢山の分野での研究を追求するため、Googleの世界各国のオフィスのさまざまなチームに参加しています。我々は、彼らが達成する成果と、彼らが広く研究コミュニティに貢献する事を楽しみにしています！

もし貴方が第四陣のクラスに参加することに興味がある場合は、2019年のGoogle AI Residencyプログラムの申込みの受付が既に開始されています！

申請方法の詳細については、下記関連リンクの「Google人材募集」をご覧ください。また、「Google AI Residency Program」をチェックして、より多くの過去のResidency参加者のプロフィール、過去の成果物、ブログ投稿、および関連ストーリーを参照してください。私たちはどんな来年になるのか待ちきれません！貴方がGoogleの世界中の研究チームとコラボすることを願っています！