学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(2/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(2/3)まとめ ・D3STは会話状態を予測を行う際に、スロットと意図の記述を活用するDSTモデル ・SDTは具体的な会話内で可能なスロットと値を示す、単一の注釈付き対話例を活用 ...
t5
学習手法 
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(3/3)
１．PEGASUS：文章要約を行う最先端の人工知能(3/3)まとめ ・PEGASUSの記事要約事例を５パターン紹介。タイトル部分だけが異なり本文は同一 ・出力される要約文は文章毎に微妙に異なる文章が出力されているが概ね正しい ・船の数を数え...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...