入門／解説 MetNet：数時間先の降水量を予測するニューラル気象モデル(2/2)
１．MetNet：数時間先の降水量を予測するニューラル気象モデル(2/2)まとめ ・MetNetは米国全体の予報であっても、並列計算で数秒で予測を行うことができる ・MetNetニューラル気象モデルは、8時間未満ならNOAA HRRRよりも...
TPU
入門／解説 モデル MetNet：数時間先の降水量を予測するニューラル気象モデル(1/2)
１．MetNet：数時間先の降水量を予測するニューラル気象モデル(1/2)まとめ ・現在の天気予報は物理法則に基づいて気象を物理モデル化し、それを使って予報している ・この物理モデルは計算が非常に大変だが、計算を簡易化すると大きな誤差が出て...
学習手法 SEED RLによる大規模強化学習(3/3)
１．SEED RLによる大規模強化学習(3/3)まとめ ・SEED RLが4,160CPUで達成する性能と同等な性能を出すにはIMPALAでは14,000CPUが必要となる ・DeepMindラボでは毎秒240万フレームを達成、これは、以前...
学習手法 SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...
モデル TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)まとめ ・機械学習と量子コンピュータは大きく進歩したが量子コンピュータで実行できる量子機械学習は存在しない ・量子機械学習モデルの試作やシミュレ...
AI関連その他 Mesh-TensorFlowによる超高解像度画像解析(2/2)
１．Mesh-TensorFlowによる超高解像度画像解析(2/2)まとめ ・畳み込み演算では各フレームの端部分を超えてフィルターが適用されることがよくある ・ヘィロー交換と呼ばれるデータ通信ステップを実装し畳み込みの前に隣接する部分と通信...
モデル Mesh-TensorFlowによる超高解像度画像解析(1/2)
１．Mesh-TensorFlowによる超高解像度画像解析(1/2)まとめ ・学習手法の進歩によりCNNモデルは数分で数百万の画像のデータセットを使って学習可能になった ・しかしCTスキャンなどの三次元画像は二次元画像に比べて画素数が非常に...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(8/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(8/8)まとめ ・機械学習研究を促進するためにデータセットを公開しGoogle Dataset Searchで探しやすくした ・数百万のタスクを処理しつつ新し...
ロボット Google Research：2019年の振り返りと2020年以降に向けて(7/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた ・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソ...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(5/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(5/8)まとめ ・2019年はニューラルネットワークのトレーニングにどのような力学が働くのか特性を理解を目指した ・AutoMLの研究も継続し、既存モデルの改...