モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...
routing
モデル モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
基礎理論 オームの法則を使って代替経路問題を解く(2/2)
１．オームの法則を使って代替経路問題を解く(2/2)まとめ ・電流を求めるにはキルヒホッフの法則とオームの法則を用いて電圧に関する方程式を解く ・方程式を高速で解くためにガウスの消去法を使って回路をシンプルに変換する ・ボトルネックを特定す...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(2/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(2/2)まとめ ・Batch Priority Routingにより優先度の低いトークンを捨てる事を強制 ・従来手法ではバッファ容量不足時に性能が低下するがBPRは堅牢 ・ルーテ...
アプリケーション Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(2/2)
１．Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(2/2)まとめ ・グラフを改良する事でダイクストラで充電時間を考慮した経路を求める事が可能になった ・しかし充電ステーションの密度が非常に高い場所ではグラフが巨大にな...
アプリケーション Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(1/2)
１．Google Mapで電気自動車用に充電場所を考慮した経路案内を実現(1/2)まとめ ・ガソリン駆動車の経路案内時には給油場所は問題にならないが電気自動車は考慮が必要 ・充電時間は総移動時間のかなりの部分を占める可能性があり充電率によっ...