parallelization

学習手法

Alpa:わずか1行でJAXニューラルネットワークを並列化(2/2)

1.Alpa:わずか1行でJAXニューラルネットワークを並列化(2/2)まとめ ・Alpaは標準的な専門家が設計したTransformerモデルでは最高のフレームワークに匹敵する ・mixture-of-expert層を持つTransfor...
学習手法

GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)

1.GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
学習手法

GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)

1.GSPMD:ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
入門/解説

PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)

1.PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)まとめ ・joblibを使用するとファイルを並列で読み込み速度アップできる ・pickle形式でファイルを保存するとCSVより更に高速になる ・jobli...