BERT│WebBigData

ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)

AI

2020.03.18
BERT, TPU, gan, transformer, nlp

１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した・単一GPUで4日間で学習可能でELECTRA-smallはGPTよりも優れたパフォーマンスで計算量は30分の1 ・ELECTRA-LargeはGLUEリーダーボードでRoBERTa、XLNet、およびALBERTを凌駕 […]

ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)

AI

2020.03.17
ベンチマーク, BERT, gan, nlp

１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用できない欠点がある・ELECTRAはRTDと呼ばれる新しい手法で両者の良いところを取り入れ少ないデータで効率的な学習が可能２．ELECTRAとは？以下、a […]

T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)

AI

2020.03.01
転移学習, BERT, dataset, transformer, gpt-2

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる・またGPT-2のように人間が読んでも非常に自然に見える文章を生成する能力にも優れている・特にピーナッツバターへの愛は冷静に読めば絶対まずそうなレシピなのに凄そうに見える迫力を持つ２．ピーナッ […]

T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)

AI

2020.02.29
転移学習, BERT, dataset, transformer, nlp, gpt-2

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た・体系的な研究から得た最良の方法を組み合わせてGoogle Cloud TPUアクセラレータで規模を拡大・最大のモデルはGLUE、SuperGLUE、SQuAD、及びCNN/Daily Mail […]

T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)

AI

2020.02.28
転移学習, ベンチマーク, BERT, dataset, transformer, nlp, 自己教師, elmo, mt-dnn

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能２．T5とは？以下、ai.g […]