学習手法 オフライン強化学習に関する楽観的な見解(2/2)
１．オフライン強化学習に関する楽観的な見解(2/2)まとめ ・教師あり学習のアンサンブル手法を応用してREMと言う新しい強化学習アルゴリズムを開発 ・REMはオフライン設定とオンライン設定で比較するとオフライン設定の方が高い性能を出せていた...
学習手法
学習手法 学習手法 オフライン強化学習に関する楽観的な見解(1/2)
１．オフライン強化学習に関する楽観的な見解(1/2)まとめ ・ほとんどの強化学習は、エージェントが直接オンライン環境と対話するオンライン強化学習が前提 ・オフライン強化学習はエージェントが収集済みデータにないアクションを実行した際の評価が困...
学習手法 SimCLR:対照学習により自己教師学習の性能を向上
１．SimCLR:対照学習により自己教師学習の性能を向上 ・同じ画像同士の特徴量を最大化しつつ違う画像同士の特徴量を最小化する事を対照学習という ・SimCLRは自己教師および半教師でありながら対照学習により教師あり学習に迫るスコアを達成 ...
学習手法 動物の動きからロボットを俊敏に動かすコツを学ぶ
１．動物の動きからロボットを俊敏に動かすコツを学ぶまとめ ・歩いている動物の動画から制御ポリシーをトレーニングする強化学習フレームワークが発表 ・サンプル効率の高い潜在空間適応手法を使用して現実世界への転移を効率的に行っている ・人間による...
学習手法 WaveNetEQでGoogle Duoの通話品質を向上(2/2)
１．WaveNetEQでGoogle Duoの通話品質を向上(2/2)まとめ ・コンディショニングネットワークは抑揚を意識して自己回帰ネットワークをあるべき波形に修正できる ・WaveNetEQの学習時は実際のデータを次のステップの入力に使...
学習手法 SEED RLによる大規模強化学習(3/3)
１．SEED RLによる大規模強化学習(3/3)まとめ ・SEED RLが4,160CPUで達成する性能と同等な性能を出すにはIMPALAでは14,000CPUが必要となる ・DeepMindラボでは毎秒240万フレームを達成、これは、以前...
学習手法 SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフ...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い ・これをアフォーダンスベースの操作と言い入力画像にアクシ...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能 ・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(2/3)
１．Dreamer：長期視点で考える事が出来る強化学習(2/3)まとめ ・強力な世界モデルでさえ、正確に予測できる範囲が限られており多くは近視眼的だった ・Dreamerは、バリューネットワークとアクターネットワークでこの制限を克服 ・Dr...