AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(1/2)
１．2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(1/2)まとめ ・堅牢なアルゴリズム設計はGoogle全体のシステム特に機械学習と人工知能モデルの屋台骨となっており優先度が高い ・教師、半教師あり...
scalability
AI関連その他 
アプリケーション TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)まとめ ・Apache BeamやDaskなどの並列コンピューティングライブラリと互換性を持つ ・大規模言語モデルではT5XやPathwaysなどのフレー...
インフラ Kubernetesのノード数を7500に拡張(1/2)
１．Kubernetesのノード数を7500に拡張(1/2)まとめ ・GPT-3やCLIPやDALL·Eなどで有名なOpen AIの背後にあるインフラシステムの紹介 ・Kubernetesを7500ノードに規模拡大し大規模モデルから小規模研...
アプリケーション Menger：大規模な分散型強化学習(1/3)
１．Menger：大規模な分散型強化学習(1/3)まとめ ・RLとはデータ収集とトレーニングのループだが規模拡大すると反復処理が追いつかなくなる ・Mengerは大規模な分散RLインフラであり複数クラスタにより規模拡大が可能 ・TPUを使用...
学習手法 SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能 ・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(2/3)
１．Dreamer：長期視点で考える事が出来る強化学習(2/3)まとめ ・強力な世界モデルでさえ、正確に予測できる範囲が限られており多くは近視眼的だった ・Dreamerは、バリューネットワークとアクターネットワークでこの制限を克服 ・Dr...
モデル Dreamer：長期視点で考える事が出来る強化学習(1/3)
１．Dreamer：長期視点で考える事が出来る強化学習(1/3)まとめ ・世界モデルを使用しない強化学習は学習に大量の試行錯誤と時間が必要なため実用性が制限される ・世界モデルを使用する強化学習もプランニングメカニズムがネックになり能力が制...
学習手法 M4:超多言語、大規模ニューラル機械翻訳(3/3)
１．M4:超多言語、大規模ニューラル機械翻訳(3/3)まとめ ・低リソース言語の数を増やすと高リソース言語の翻訳の品質が低下する現象が観察される ・これを敷設ために良い学習アルゴリズムやモデルパラメータ数を増やす試みを行った ・最終的に50...
モデル MorphNet：学習済みニューラルネットワークをより速くより小さく改良(2/2)
１．MorphNet：学習済みニューラルネットワークをより速くより小さく改良(2/2)まとめ ・MorphNetは圧縮対象をサイズや計算量などから選べる事に加えて3つの重要な特徴がある ・ネットワークの構造そのものを変更する事がある、大規模...
モデル TF-Ranking：ランクキング作成用TensorFlowライブラリ(2/2)
１．TF-Ranking：ランクキング作成用TensorFlowライブラリ(2/2)まとめ ・複数の評価項目を持つアイテムのランキングを単一評価項目のアイテムとう同様にランキング付け可能 ・新しい評価基準最適化手法であるLambdaLoss...