効率的な質問回答システムにおける課題とワークショップの開催
１．効率的な質問回答システムにおける課題とワークショップの開催まとめ ・従来の質問回答システムは「知識」をドキュメント、またはナレッジグラフから取得して回答していた ・しかし直近の大規模システムはナレッジグラフや文章を参照せず直接回答をする事ができた ・「知識」はどのような形式で保管するのが効率的なのだろうか？NeurIPS 2020でゴングが鳴る ２．質問回答システムにおける課題とは？ 以下、a […]
nlp
1/9ページ
定型書式から必要な情報を自動で抽出(1/2)
１．定型書式から必要な情報を自動で抽出(1/2)まとめ ・領収書、請求書などの定型書式文書は、様々なビジネス場面において非常に一般的で大切 ・しかしこれらの定型書式文書は手作業で処理されるが転記ミスなどが発生する可能性がある ・機械学習を用いてこれらの定型書式文書を自動処理させたいが自然言語と視覚処理が絡むため困難 ２．構造化データとは？ 以下、ai.googleblog.comより「Extrac […]
XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること ・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加しているがベンチマークがなかった ・XTREAMは多言語で構文または意味について推論する事を要求する9つタスクで構成されるベンチマーク ２．XTREMEとは？ 以 […]
ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
- 2020.03.18
- BERT, TPU, gan, transformer, nlp
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallはGPTよりも優れたパフォーマンスで計算量は30分の1 ・ELECTRA-LargeはGLUEリーダーボードでRoBERTa、XLNet、およびALBERTを凌駕 […]
ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用できない欠点がある ・ELECTRAはRTDと呼ばれる新しい手法で両者の良いところを取り入れ少ないデータで効率的な学習が可能 ２．ELECTRAとは？ 以下、a […]