データセット データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(2/2)まとめ ・蒸留したデータセットは、画像分類データセットにおいて最先端の性能を達成 ・分散システムを利用してデータセットは数百のGPUを利用して作成した ・蒸留したデータ...
efficient training
データセット データセット データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)
１．データセット蒸留による機械学習モデルの効率的なトレーニング(1/2)まとめ ・蒸留はトレーニングを効率的に行うためのアイディアでモデルとデータセットが対象となる ・蒸留したデータセットでモデルを学習させるとメモリと計算量を減らすことがで...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...