入門／解説 無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(2/2)
１．無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(2/2)まとめ ・定常分布がわからなくても重みの分布がターゲットポリシーの分布が持つ属性を満たす確認すれば良い ・「トリッキー」な数学的手法を使い履歴データからターゲットポリシー...
強化学習
入門／解説 入門／解説 無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)
１．無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)まとめ ・強化学習は広く使われているが過去の履歴データ、つまりオフポリシーで性能評価をする事は難しい ・履歴データを収集したエージェントと性能評価されるエージェントが異な...
学習手法 オフライン強化学習に関する楽観的な見解(2/2)
１．オフライン強化学習に関する楽観的な見解(2/2)まとめ ・教師あり学習のアンサンブル手法を応用してREMと言う新しい強化学習アルゴリズムを開発 ・REMはオフライン設定とオンライン設定で比較するとオフライン設定の方が高い性能を出せていた...
学習手法 オフライン強化学習に関する楽観的な見解(1/2)
１．オフライン強化学習に関する楽観的な見解(1/2)まとめ ・ほとんどの強化学習は、エージェントが直接オンライン環境と対話するオンライン強化学習が前提 ・オフライン強化学習はエージェントが収集済みデータにないアクションを実行した際の評価が困...
学習手法 動物の動きからロボットを俊敏に動かすコツを学ぶ
１．動物の動きからロボットを俊敏に動かすコツを学ぶまとめ ・歩いている動物の動画から制御ポリシーをトレーニングする強化学習フレームワークが発表 ・サンプル効率の高い潜在空間適応手法を使用して現実世界への転移を効率的に行っている ・人間による...
学習手法 SEED RLによる大規模強化学習(3/3)
１．SEED RLによる大規模強化学習(3/3)まとめ ・SEED RLが4,160CPUで達成する性能と同等な性能を出すにはIMPALAでは14,000CPUが必要となる ・DeepMindラボでは毎秒240万フレームを達成、これは、以前...
学習手法 SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能 ・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(2/3)
１．Dreamer：長期視点で考える事が出来る強化学習(2/3)まとめ ・強力な世界モデルでさえ、正確に予測できる範囲が限られており多くは近視眼的だった ・Dreamerは、バリューネットワークとアクターネットワークでこの制限を克服 ・Dr...
モデル Dreamer：長期視点で考える事が出来る強化学習(1/3)
１．Dreamer：長期視点で考える事が出来る強化学習(1/3)まとめ ・世界モデルを使用しない強化学習は学習に大量の試行錯誤と時間が必要なため実用性が制限される ・世界モデルを使用する強化学習もプランニングメカニズムがネックになり能力が制...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(2/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(2/3)まとめ ・AIモデルとテクニックの透明性、説明責任、再現性を高める「説明可能なAI」が重視される ・景気の後退がデータを活用する「持っ...