インフラ EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(1/2)
１．EfficientNet-EdgeTPU:アクセラレータでの実行に最適化したニューラルネット(1/2)まとめ ・ハードウェアアクセラレータ上での実行に最適化したニューラルネットワークはあまり存在しない ・AutoMLで最適化したEffi...
TPU
インフラ 入門／解説 ハエの脳を自動でインタラクティブな3D画像に再構成する試み(1/2)
１．ハエの脳を自動でインタラクティブな3D画像に再構成する試み(1/2)まとめ ・ショウジョウバエの脳はニューロンの数が10万程度であり他の脳と比べてモデル化しやすい ・今回ショウジョウバエの脳をFlood-Filling Networks...
入門／解説 データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)まとめ ・ラベル付きデータが不足している際にデータを水増しする手法は進歩している ・しかし、基本的には教師付き学習でのみ利用可能な手法であった ・今回、ラベルなしデータを教...
入門／解説 Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)まとめ ・Snorkel MeTaLが最先端のスコアを達成するために辿った教師信号を具体的に解説 ・伝統的な教師信号から開始し、次の段階は事前学習からの転移学習 ・そして...
モデル EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)
１．EfficientNet:AutoMLとモデルのスケーリングによりCNNの精度と効率を向上(2/2)まとめ ・EfficientNetのベースネットワークはAutoML MNASフレームワークによって開発された ・EfficientNe...
モデル GANにおけるラベル付きデータの必要性の低減(2/2)
１．GANにおけるラベル付きデータの必要性の低減(2/2)まとめ ・回転タスクによって意味のある特徴を学習させた後に更に学習をさせる ・これによりサンプル効率が高まり高品質なラベル付けが可能 ・GANで使う様々な機能をまとめたCompare...
入門／解説 ニューラルネットワークの並列訓練の限界を測定(2/2)
１．ニューラルネットワークの並列訓練の限界を測定(2/2)まとめ ・有効な最大バッチサイズはある程度ワークロードのあらゆる側面に依存 ・しかし大きいバッチサイズの恩恵を受ける事ができる条件はまだ不明 ・最適化アルゴリズムのわずかな変更が訓練...
入門／解説 ニューラルネットワークの並列訓練の限界を測定(1/2)
１．ニューラルネットワークの並列訓練の限界を測定(1/2)まとめ ・バッチサイズとトレーニング時間の減少の関係を追及した論文が発表 ・作業負荷によって異なるがどのような最適化／データ／モデルも３つの段階がある事を確認 ・サイズに比例して時間...
モデル RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(1/2)
１．RNN-T:全てをニューラルネットワークで実装したオンデバイス音声認識の実現(1/2)まとめ ・スマホで実行可能ニューラルネットワークベースの音声認識が発表 ・音声をクラウドに送って認識する従来型システムより応答が早い ・コネクショニス...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...
学習手法 PlaNet：画像入力から世界モデルを学ぶ強化学習(3/3)
１．PlaNet：画像入力から世界モデルを学ぶ強化学習(3/3)まとめ ・PlaNetは一つのエージェントで６つの異なるタスクを行うように訓練する事ができた ・比較的単純なタスクに対する学習は遅かったが複雑なタスクは素早く学習し高いレベルに...