学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)まとめ ・BERTと同様にBiTも事前トレーニング済みのモデルを下流タスク用データで微調整をして転移学習する ・事前トレーニングで使用する画像の量と...
transfer learning
学習手法 
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフ...
モデル 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(2/3)まとめ ・多くの視覚タスクモデルは「バックボーン(backbone)」と「ヘッド(head)」の2つの部分から構成される ・ヘッドはタスク固有でもあるため転移学習で...
学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(1/3)まとめ ・ロボットが「物体に対して何が出来て何が出来ないのか？」を直接知覚できるようになると学習効率が良い ・これをアフォーダンスベースの操作と言い入力画像にアクシ...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...
入門／解説 その転移学習は本当に有用なのか？(3/3)
１．その転移学習は本当に有用なのか？(3/3)まとめ ・事前学習によって学習された重みは特徴表現とは無関係に学習を高速化する効果がある ・高速効果は平均と分散を意識した初期化で実現できるため任意のレイヤーに適用可能 ・重みを再利用できる下位...
入門／解説 その転移学習は本当に有用なのか？(2/3)
１．その転移学習は本当に有用なのか？(2/3)まとめ ・大きなモデルの下位レイヤーでは学習による重みの変化が小さく特徴表現はかなり再利用される ・大きなモデルでも小さなモデルでも上位レイヤーでは重みの変化が大きく特徴表現はあまり再利用されな...
入門／解説 その転移学習は本当に有用なのか？(1/3)
１．その転移学習は本当に有用なのか？(1/3)まとめ ・転移学習は医療用画像処理タスクのパフォーマンスに大きな影響を与えていない事がわかった ・医療用画像処理タスクでは小さいモデルが大きなモデルに匹敵するパフォーマンスを出せていた ・大きな...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)まとめ ・VideoBERTはベースラインとした完全教師付き学習のtop-5 accuracyに匹敵する精度を達成 ・VideoBERTはヴィジュアルトークン作成時に細...
入門／解説 Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)
１．Snorkel MeTaLを用いた大規模マルチタスク学習(2/4)まとめ ・Snorkel MeTaLが最先端のスコアを達成するために辿った教師信号を具体的に解説 ・伝統的な教師信号から開始し、次の段階は事前学習からの転移学習 ・そして...