入門／解説 GboardにおけるRNNベースの手書き認識(1/2)
１．GboardにおけるRNNベースの手書き認識(1/2)まとめ ・Googleは2015年から手書き文字入力アプリを提供していたが当初は機械学習ベースではなかった ・RNNベースに改良した結果、エラー率を大幅に改善する事ができた ・RNN...
入門／解説 入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(3/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(3/3)まとめ ・ニューラルネットワークが画像分類時に背景も考慮している事も明確に視覚化 ・また多様な写真の特徴を組み合わせており食用用途も観賞用途も混在...
入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)まとめ ・ニューラルネットワークでは層が進むにつれ概念が洗練されていく ・概念の大枠だけではなく、個別の概念も洗練されていく ・また、新しい概念が...
入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)まとめ ・隠れ層で起きているニューロンの活性化状態を地図にして視覚化しようという試み ・UMAPで高次元ベクトルを二次元に変換しグリッドにまとめて...
学習手法 GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)まとめ ・GPipeを使って5億5,700万のパラメータのAmoebaNet-Bで84.3％のTop-1 Accuracyを達成 ・Top-5 ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...
ロボット AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(3/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(3/3)まとめ ・PRM-RLにAutoRLでトレーニングしたローカルプランナーを組み合わせる等多数の改良をした ・SLAMマップでsim2realギャップの解消に成功...
AI関連その他 AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(2/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(2/3)まとめ ・PRMのようなサンプリングベースのプランナーを使う事によって長距離ナビゲーションを実現できる ・強化学習ベースのローカルプランナーがノード間を接続でき...
学習手法 AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(1/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(1/3)まとめ ・AutoMLの強化学習版であるAutoRLを使ってロボットを遠く離れた場所までお使いに行かせる研究 ・現在のロボットは近距離を安全に移動するためのロー...
入門／解説 GPT-2が自動生成したその他の文章(3/3)
１．GPT-2が自動生成したその他の文章(3/3)まとめ ・GPT-2が自動作成した事実を強引に捻じ曲げる文章とフェイクニュースの２つの紹介 ・どちらも25回の試行を行っているためGPT-2的には作りにくい文章だったかもしれないが出来が良い...
入門／解説 GPT-2が自動生成したその他の文章(2/3)
１．GPT-2が自動生成したその他の文章(2/3)まとめ ・GPT-2が得意とする文章である指輪物語の二次創作と宿題 ・指輪物語は物語内に出てくる固有名詞しか使っておらず物語としてほぼ成立している ・宿題の方はダラダラと要旨を掴みにくい文章...