AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)まとめ ・大規模環境では線形に計算コストが増える手法でさえも高コストなりがちであり、学習を安定させるために効率的...
optimization
AI関連その他 
基礎理論 Dual Mirror Descent:どのタイミングでどのくらい売るのが最も儲かるかを予測する(2/2)
１．Dual Mirror Descent：どのタイミングでどのくらい売るのが最も儲かるかを予測する(2/2)まとめ ・資源の制約を扱う際のシンプルで強力なアイデアは「価格」の概念を導入する事 ・ミラーディセントは時間の経過とともに一様に資...
アプリケーション 使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(2/2)
１．使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(2/2)まとめ ・WebベースのGPUを使った推論はOpenGLの性能の約25%しか達成できない ・これはWebGLがML作業ではなく主に画像レンダリング用にに設計されたため ・...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
アプリケーション 複数のトレードオフを念頭にワイヤレスネットワークを自動設計(3/3)
１．複数のトレードオフを念頭にワイヤレスネットワークを自動設計(3/3)まとめ ・近接したサイトは干渉を起こすため明示的に禁止して良い解決策へと探索を誘導している ・オートプランニングは3つの競合する目的のバランスをとる必要があるので候補を...
アプリケーション 複数のトレードオフを念頭にワイヤレスネットワークを自動設計(2/3)
１．複数のトレードオフを念頭にワイヤレスネットワークを自動設計(2/3)まとめ ・詳細な地理データを使用することで正確な経路損失予測が可能になり分散計算で高速実行が可能 ・オートプランニングの入力には需要点候補拠点、予測信号強度、および予算...
学習手法 PRIME：過去のシミュレーションログ使ってアクセラレータを新規に設計(3/3)
１．PRIME：のシミュレーションログ使ってアクセラレータを新規に設計(3/3)まとめ ・PRIMEは複数アプリケーション対応とゼロショット対応の２つの目的で設計されている ・一部モデルではシミュレータ駆動型の方が待ち時間が短いがPRIME...
アプリケーション 飛行機の運行ルートを最適化し二酸化炭素の排出を削減(2/2)
１．飛行機の運行ルートを最適化し二酸化炭素の排出を削減(2/2)まとめ ・機体割当問題はノードとアーク(円弧)の集合によって特徴づけられる有向グラフと見なせる ・ネットワーク内のフローバランスを維持しながらフローコストの合計を最小化する問題...
アプリケーション 飛行機の運行ルートを最適化し二酸化炭素の排出を削減(1/2)
１．飛行機の運行ルートを最適化し二酸化炭素の排出を削減(1/2)まとめ ・国際民間航空機関が設定したCO2削減目標を達成するため航空会社が知恵を絞っている ・二酸化炭素排出量を削減する方法に適切な機体を適切なルートに配置する事がある ・機体...
モデル CIW:ノイズの多いラベルを使ってディープニューラルネットを訓練する新手法(1/3)
１．CIW:ノイズの多いラベルを使ってディープニューラルネットを訓練する新手法(1/3)まとめ ・ノイズの多いラベルはクリーンなデータで学習したモデルの精度を低下させることが多い ・ノイズの多いデータで直接機械学習モデルを学習させる手法を新...
自然環境 機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(2/2)
１．機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(2/2)まとめ ・過去3年間のGoogleの総エネルギー使用量のうちMLの学習と推論の使用量は10%～15% ・Evolved Transformerモデルの炭素排出量が自...