視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフォーマンスがあまり向上しない ・物体の位置関係の認識を必要とするCOCOデータセットなどの視覚タスクの重みでは大幅に改善できた ２．有効な転移学習と有効ではない […]
転移学習
1/8ページ
視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)まとめ ・多くの視覚タスクモデルは「バックボーン(backbone)」と「ヘッド(head)」の2つの部分から構成される ・ヘッドはタスク固有でもあるため転移学習ではバックボーン部のみを転移対象とする事が一般的 ・しかしヘッドだけを転移したモデルはは転移学習なしでトレーニングしたモデルと大差なかった ２．アフォーダンスベー […]
視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い ・これをアフォーダンスベースの操作と言い入力画像にアクション値を割り当てる事で実装される ・入力画像処理部分に関してはロボットと関係ない全く別の画像処理タスクの重みを転移できないだろうか？ ２．affordance- […]
T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
- 2020.03.01
- 転移学習, BERT, dataset, transformer, gpt-2
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んでも非常に自然に見える文章を生成する能力にも優れている ・特にピーナッツバターへの愛は冷静に読めば絶対まずそうなレシピなのに凄そうに見える迫力を持つ ２．ピーナッ […]
T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組み合わせてGoogle Cloud TPUアクセラレータで規模を拡大 ・最大のモデルはGLUE、SuperGLUE、SQuAD、及びCNN/Daily Mail […]