学習手法 Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(2/2)
１．Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(2/2)まとめ ・Scaled Q-Learningは強化学習であるにも関わらず規模を拡大する事が有利になるべき乗スケーリング特性を持っている ...
performance improvement
学習手法 
学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)まとめ ・MLGOを使用してレジスタ割当問題も大規模データセンターのQPSで0.3%～1.5%改善できた ・QPSは導入後数ヶ月間持続しており時間経過に伴って性能が劣化し...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)まとめ ・視覚タスクにおけるラベル付きデータの欠如を軽減する一般的なアプローチは事前学習 ・事前学習は実際にかなりうまく機能するが非常に大規模データ...
ビッグデータ Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(2/2)
１．Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(2/2)まとめ ・画像分類、言語モデリング、物体検出でデータエコーがディスクI/Oを削減できる事が検証された ・場合によっては、データエコーによる再利用...
ビッグデータ データ拡張を教師なしで実現し半教師付き学習の性能を向上(2/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(2/2)まとめ ・UDA、教師なしデータ拡張を使うと半教師付き学習が教師付き学習を上回る性能を出すようになる ・拡張元となるラベル付きデータが少なくとも多くとも教師付き学習の最先端...