モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)まとめ ・蒸留でサイズを削減する際は教師モデルから生徒モデルを訓練する追加計算が必要 ・更にTokenMoEを蒸留しても向上したパフォーマンスを全て維持する事...
モデル モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)まとめ ・MoEは効果的だが多くのトークンを複数のexpertsに送ると多くの計算コストがかかる ・TokenMoEはTaskMoEと異なりタスク毎にサブネッ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(2/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(2/2)まとめ ・Batch Priority Routingにより優先度の低いトークンを捨てる事を強制 ・従来手法ではバッファ容量不足時に性能が低下するがBPRは堅牢 ・ルーテ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(1/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(1/2)まとめ ・大規模なモデルやデータセットを使用するためには大量の計算が必要になり困難 ・計算に必要なリソースを抑える有望な手法のひとつに条件付き計算がある ・これは常にネッ...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(6/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(6/6)まとめ ・MLおよび関連分野の研究の全般的な進歩のためにオープンデータセットも拡充 ・コンピューティング研究を推進するため会議や資金支援でコミュニ...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(5/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(5/6)まとめ ・MLが広く使われるようになるにつれ公平かつ公正に適用される事が重要になる ・推薦システムの推薦が集中したり機械翻訳が性別を決めつる事など...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(4/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(4/6)まとめ ・物理学から生物学、再生可能エネルギーや医療などの関連領域でMLのインパクトが高まる ・コンピュータビジョンモデルは個人的な問題から地球規...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(3/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(3/6)まとめ ・個人スマホがプライバシーを保ったまま世界中のスマホと共同して学習する事が可能な時代 ・世界のデータを使いつつ状況に応じて個人に最適化出来...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(2/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(2/6)まとめ ・新ハードウェアやアルゴリズムの改良、学習手法の進歩によってMLの効率性が継続的に向上 ・最先端の性能を維持または改善しながら、計算量や速...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(1/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(1/6)まとめ ・ここ数年でモデルのパラメータ数は数十億規模から数千億または数兆にスケールアップした ・様々なタスクに対して最適化された部分のみを活性化す...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)まとめ ・部分的端末内連合学習のための手法であるFederated Reconstructionを発表 ・Federated ...
プライバシー Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)
１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(1/2)まとめ ・連合学習はユーザーがクラウドに生データを送ることなくモデルを学習することが可能 ・各ユーザーで傾向が異なっていても全...