入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(2/3)まとめ ・ニューラルネットワークでは層が進むにつれ概念が洗練されていく ・概念の大枠だけではなく、個別の概念も洗練されていく ・また、新しい概念が...
入門／解説 入門／解説 Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)
１．Activation Atlases：画像分類ニューラルネットワークの深部を探索(1/3)まとめ ・隠れ層で起きているニューロンの活性化状態を地図にして視覚化しようという試み ・UMAPで高次元ベクトルを二次元に変換しグリッドにまとめて...
学習手法 GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(3/3)まとめ ・GPipeを使って5億5,700万のパラメータのAmoebaNet-Bで84.3％のTop-1 Accuracyを達成 ・Top-5 ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...
ロボット AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(3/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(3/3)まとめ ・PRM-RLにAutoRLでトレーニングしたローカルプランナーを組み合わせる等多数の改良をした ・SLAMマップでsim2realギャップの解消に成功...
AI関連その他 AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(2/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(2/3)まとめ ・PRMのようなサンプリングベースのプランナーを使う事によって長距離ナビゲーションを実現できる ・強化学習ベースのローカルプランナーがノード間を接続でき...
学習手法 AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(1/3)
１．AutoRL：自動強化学習による長距離ロボットナビゲーションの実現(1/3)まとめ ・AutoMLの強化学習版であるAutoRLを使ってロボットを遠く離れた場所までお使いに行かせる研究 ・現在のロボットは近距離を安全に移動するためのロー...
入門／解説 GPT-2が自動生成したその他の文章(3/3)
１．GPT-2が自動生成したその他の文章(3/3)まとめ ・GPT-2が自動作成した事実を強引に捻じ曲げる文章とフェイクニュースの２つの紹介 ・どちらも25回の試行を行っているためGPT-2的には作りにくい文章だったかもしれないが出来が良い...
入門／解説 GPT-2が自動生成したその他の文章(2/3)
１．GPT-2が自動生成したその他の文章(2/3)まとめ ・GPT-2が得意とする文章である指輪物語の二次創作と宿題 ・指輪物語は物語内に出てくる固有名詞しか使っておらず物語としてほぼ成立している ・宿題の方はダラダラと要旨を掴みにくい文章...
入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ ・GPT-2が出力したユニコーン以外の文章の紹介 ・プレスリリース、ニュース、芸能ニュース、の3種類 ・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう ２．GPT...
学習手法 MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデル
１．MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデルまとめ ・MT-DNNはマイクロソフトが発表した新しい自然言語処理モデルでBERTを上回るスコアを出した ・2015年に提案したモデルに基づいて構築されマルチタスク学...