学習手法 Alpa:わずか1行でJAXニューラルネットワークを並列化(2/2) 1.Alpa:わずか1行でJAXニューラルネットワークを並列化(2/2)まとめ ・Alpaは標準的な専門家が設計したTransformerモデルでは最高のフレームワークに匹敵する ・mixture-of-expert層を持つTransfor... 2022.05.17 学習手法
学習手法 GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2) 1.GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS... 2021.12.30 学習手法
学習手法 GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2) 1.GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性... 2021.12.29 学習手法
入門/解説 PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2) 1.PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)まとめ ・joblibを使用するとファイルを並列で読み込み速度アップできる ・pickle形式でファイルを保存するとCSVより更に高速になる ・jobli... 2021.09.13 入門/解説