学習手法 DADS：教師なしで有用なスキルを発見する強化学習(2/2)
１．DADS：教師なしで有用なスキルを発見する強化学習(2/2)まとめ ・DADSは環境にとらわれないため、ロボット移動タスクにも操作タスクにも適用可能 ・スキルに追加のトレーニングが必要ないため、サンプル効率が非常に高く追加トレーニングが...
ロボット
学習手法 学習手法 DADS：教師なしで有用なスキルを発見する強化学習(1/2)
１．DADS：教師なしで有用なスキルを発見する強化学習(1/2)まとめ ・教師有り強化学習はシミュレーション環境を飛び出して現実世界の複雑な動作を学習できるようになった ・しかし、様々なタスク用に報酬関数を手動で設計する必要がありこれがボト...
モデル 深層強化学習の力でロボットが俊敏で知的な移動を実現(3/3)
１．深層強化学習の力でロボットが俊敏で知的な移動を実現(3/3)まとめ ・階層強化学習では高レベルポリシーと低レベルポリシーは同時にトレーニングされる ・トレーニング目的はロボットの軌道から得られる総報酬を最大化する事 ・学習完了後は高レベ...
学習手法 深層強化学習の力でロボットが俊敏で知的な移動を実現(2/3)
１．深層強化学習の力でロボットが俊敏で知的な移動を実現(2/3)まとめ ・ロボットにオフィス内を移動させる等の複雑なタスクは速度、方向、高さを複数回調整する必要がある ・従来は複雑なタスクを複数の階層的小タスクに分解することで解決していたが...
学習手法 深層強化学習の力でロボットが俊敏で知的な移動を実現(1/3)
１．深層強化学習の力でロボットが俊敏で知的な移動を実現(1/3)まとめ ・強化学習のサンプル効率の悪さは依然として多くのアルゴリズムにとって主要なボトルネック ・脚式ロボットのためのデータ効率の良い強化学習として効率的な学習方法を発表 ・必...
モデル ロボット工学における進化的メタラーニングの探索(3/3)
１．ロボット工学における進化的メタラーニングの探索(3/3)まとめ ・ES-MAMLは優れたパフォーマンスを持つが現実世界に展開する事は依然として困難 ・現実世界のデータをできるだけ少なくするために、新規にバッチ山登り法を導入 ・その結果、...
モデル ロボット工学における進化的メタラーニングの探索(2/3)
１．ロボット工学における進化的メタラーニングの探索(2/3)まとめ ・MAMLの代わりに進化的戦略であるES-MAMLを使うと確率性に関する競合を回避できる ・ESはパラメータが少ないため展開が容易で電力効率が高く効率的でコンパクトな学習が...
モデル ロボット工学における進化的メタラーニングの探索(1/3)
１．ロボット工学における進化的メタラーニングの探索(1/3)まとめ ・シミュレーションによりロボットのトレーニングは実現しやすくなったがギャップが存在 ・シミュレーション環境と現実世界の間に存在する微妙なギャップで意図した通りに動かない ・...
入門／解説 無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)
１．無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)まとめ ・強化学習は広く使われているが過去の履歴データ、つまりオフポリシーで性能評価をする事は難しい ・履歴データを収集したエージェントと性能評価されるエージェントが異な...
モデル EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(1/2)
１．EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(1/2)まとめ ・物体検出アプリケーションは様々な場所で必要とされるため計算能力の限界など様々な制約を受ける ・様々な制約にも適応できる正確で効率的な物体検出アプ...
学習手法 オフライン強化学習に関する楽観的な見解(1/2)
１．オフライン強化学習に関する楽観的な見解(1/2)まとめ ・ほとんどの強化学習は、エージェントが直接オンライン環境と対話するオンライン強化学習が前提 ・オフライン強化学習はエージェントが収集済みデータにないアクションを実行した際の評価が困...
学習手法 動物の動きからロボットを俊敏に動かすコツを学ぶ
１．動物の動きからロボットを俊敏に動かすコツを学ぶまとめ ・歩いている動物の動画から制御ポリシーをトレーニングする強化学習フレームワークが発表 ・サンプル効率の高い潜在空間適応手法を使用して現実世界への転移を効率的に行っている ・人間による...