基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(3/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(3/3)まとめ ・ALXのパラメータを慎重に調整し、メモリを半減させながら精度を維持する事ができた ・理想はコア数を増すと線形に学習時間が減少する事だがネットワーク通信時間の影響を受ける ・AL...
TPU
基礎理論 基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(2/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(2/3)まとめ ・ALXは各TPUコアの計算能力とメモリが無駄にならないように設計を工夫している ・デモ用にWebGraphと呼ばれる大規模な実世界のウェブリンク予測データセットを公開 ・Web...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(1/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(1/3)まとめ ・行列分解を使う手法は単純ではあるが性能が良いので推薦システムなどに昔から使われている ・ALSは行列分解のパラメータを学習するための基本的なアルゴリズムで規模拡大の効率が良い ...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)まとめ ・プラットフォームを意識したNASを使いTPUやGPUに最適化したEfficientNet-Xを設計 ・TPUv3およ...
ロボット Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)
１．Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)まとめ ・Braxは「シミュレーション時に分岐が発生しない」ことを保証する事で効率化を実現 ・計算が厳密に同じであるため複雑さを軽減でき、...
アプリケーション H01：人間の脳の一部をブラウザで閲覧可能な形式に再構築(2/2)
１．H01：人間の脳の一部をブラウザで閲覧可能な形式に再構築(2/2)まとめ ・人間の脳の三次元再構成結果はブラウザから3Dインターフェイスを通じて操作可能 ・Neuroglancerと呼ばれるこのソフトはコネクトミクス コミュニティで使用...
学習手法 RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(1/2)
１．RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(1/2)まとめ ・推薦システムは広く利用されているが公平なサービスを提供するために多くの課題がある ・推薦システムで強化学習アルゴリズムを利用すためシミ...
インフラ Kubernetesのノード数を7500に拡張(1/2)
１．Kubernetesのノード数を7500に拡張(1/2)まとめ ・GPT-3やCLIPやDALL·Eなどで有名なOpen AIの背後にあるインフラシステムの紹介 ・Kubernetesを7500ノードに規模拡大し大規模モデルから小規模研...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(2/3)まとめ ・本調査ではアーキテクチャ探索を4つの最適化戦略で実施して結果を比較した ・ランダム探索はランダムに、Vizierはベイズ最適化を用いて探索と開拓のバランス...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(5/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(5/5)まとめ ・TensorFlowは5周年で累計ダウンロード数は1億6000万を超え、JAXへの投資も倍増 ・データセットの公開、各種助成金などにより研究...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進 ・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大 ・Au...