入門／解説 TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出
１．TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出まとめ ・TAPASはBERTを拡張し、質問に対する回答を表形式データから直接抽出する新モデル ・質問と表形式のデータ構造を一緒にエンコードするアプローチによりこ...
BERT
入門／解説 
入門／解説 COVID-19 Research Explorer:新型コロナウィルス関連文献に特化した検索システム
１．COVID-19 Research Explorer:新型コロナウィルス関連文献に特化した検索システムまとめ ・Googleが新型コロナウィルス関連文献を検索しやすくするCOVID-19 Research Explorerを発表 ・自然...
入門／解説 ICLR 2020におけるGoogleの存在感
１．ICLR 2020におけるGoogleの存在感まとめ ・エチオピアで開催予定だったICLR2020が完全バーチャル会議として開催 ・Google AIブログで概要が発表済みの論文も9つ存在するので要チェック ・BERTが76分でトレーニ...
入門／解説 XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること ・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加し...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)まとめ ・「分析業務」および「AIを現行業務に適用する業務」のステータスと認識の改善 ・解釈する必要があるデータは、常に偏見に対するリ...
学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある ・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(6/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(6/8)まとめ ・従来は分割して段階的に行った作業を大規模ニューラルネットワークで一気にやる事が主流になりつつある ・これらの研究結果はBERTの検索エンジン...