学習手法 SEED RLによる大規模強化学習(3/3)
１．SEED RLによる大規模強化学習(3/3)まとめ ・SEED RLが4,160CPUで達成する性能と同等な性能を出すにはIMPALAでは14,000CPUが必要となる ・DeepMindラボでは毎秒240万フレームを達成、これは、以前...
人工知能/機械学習
学習手法 学習手法 SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフ...
モデル 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)まとめ ・多くの視覚タスクモデルは「バックボーン(backbone)」と「ヘッド(head)」の2つの部分から構成される ・ヘッドはタスク固有でもあるため転移学習で...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い ・これをアフォーダンスベースの操作と言い入力画像にアクシ...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能 ・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(2/3)
１．Dreamer：長期視点で考える事が出来る強化学習(2/3)まとめ ・強力な世界モデルでさえ、正確に予測できる範囲が限られており多くは近視眼的だった ・Dreamerは、バリューネットワークとアクターネットワークでこの制限を克服 ・Dr...
モデル Dreamer：長期視点で考える事が出来る強化学習(1/3)
１．Dreamer：長期視点で考える事が出来る強化学習(1/3)まとめ ・世界モデルを使用しない強化学習は学習に大量の試行錯誤と時間が必要なため実用性が制限される ・世界モデルを使用する強化学習もプランニングメカニズムがネックになり能力が制...
モデル Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(2/2)
１．Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(2/2)まとめ ・無限幅のアンサンブルは単純な閉形式であるが有限幅のアンサンブルと顕著に一致している ・無限幅のニューラルネットワークは有限幅のネットワ...
モデル Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(1/2)
１．Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(1/2)まとめ ・最近の多くの研究結果はDNNの幅を無限に拡張していくとガウス過程に収束していく事を示している ・この収束が有効である限り勾配降下の収束...
モデル Soli：Pixel4のMotion Senseを実現する革新的なレーダー(3/3)
１．Soli：Pixel4のMotion Senseを実現する革新的なレーダー(3/3)まとめ ・ジェスチャーを分類するには、2つの課題とサイズや電力要件をクリアする必要があった ・1つは全てのユーザーが固有の動きをする事で、スワイプなどの...