nlp│WebBigData

ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)

AI

2020.03.18
BERT, TPU, gan, transformer, nlp

１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した・単一GPUで4日間で学習可能でELECTRA-smallはGPTよりも優れたパフォーマンスで計算量は30分の1 ・ELECTRA-LargeはGLUEリーダーボードでRoBERTa、XLNet、およびALBERTを凌駕 […]

ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)

AI

2020.03.17
ベンチマーク, BERT, gan, nlp

１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用できない欠点がある・ELECTRAはRTDと呼ばれる新しい手法で両者の良いところを取り入れ少ないデータで効率的な学習が可能２．ELECTRAとは？以下、a […]

T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)

AI

2020.02.29
転移学習, BERT, dataset, transformer, nlp, gpt-2

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た・体系的な研究から得た最良の方法を組み合わせてGoogle Cloud TPUアクセラレータで規模を拡大・最大のモデルはGLUE、SuperGLUE、SQuAD、及びCNN/Daily Mail […]

T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)

AI

2020.02.28
転移学習, ベンチマーク, BERT, dataset, transformer, nlp, 自己教師, elmo, mt-dnn

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能２．T5とは？以下、ai.g […]

人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)

AI

2020.02.13
強化学習, BERT, nlp, automl, gpt-2

１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)まとめ・「分析業務」および「AIを現行業務に適用する業務」のステータスと認識の改善・解釈する必要があるデータは、常に偏見に対するリスクを伴います。偏見のないデータは独立している・アルゴリズム、モデル、チャットボットが誰かの人生に影響を与える可能性があると言う認識の必要性２．開発視点から […]