SEED RLによる大規模強化学習(2/3)
１．SEED RLによる大規模強化学習(2/3)まとめ ・従来の強化学習アーキテクチャにはいくつかの欠点がありハードウェアの性能が生かせきれていない ・SEED RLアーキテクチャは欠点を解決するように設計されており規模を拡大して実行する事が可能 ・2つの最先端のアルゴリズムV-traceとR2D2の統合によりSEED RLが実現可能になった ２．SEED RLとIMPALAの違い 以下、ai.g […]
SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている ・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント ・推論の集中化し、高速通信レイヤーを導入し、大規模なアクセラレータ(GPUまたはTPU)を利用する事で、新しいアーキテクチャーによって実現 ２．SEED RLとは？ […]
視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフォーマンスがあまり向上しない ・物体の位置関係の認識を必要とするCOCOデータセットなどの視覚タスクの重みでは大幅に改善できた ２．有効な転移学習と有効ではない […]
視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)まとめ ・多くの視覚タスクモデルは「バックボーン(backbone)」と「ヘッド(head)」の2つの部分から構成される ・ヘッドはタスク固有でもあるため転移学習ではバックボーン部のみを転移対象とする事が一般的 ・しかしヘッドだけを転移したモデルはは転移学習なしでトレーニングしたモデルと大差なかった ２．アフォーダンスベー […]
視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い ・これをアフォーダンスベースの操作と言い入力画像にアクション値を割り当てる事で実装される ・入力画像処理部分に関してはロボットと関係ない全く別の画像処理タスクの重みを転移できないだろうか？ ２．affordance- […]