データセット TimeDialとDisfl-QA：時の概念と流暢でない口語表現に対応するためのNLPデータセット(1/2)
１．TimeDialとDisfl-QA：時の概念と流暢でない口語表現に対応するためのNLPデータセット(1/2)まとめ ・自然な会話の中には、流暢でない発話の中断、感嘆、繰り返し、再開、訂正などが含まれる ・また会話を理解するには、イベント...
nlp
データセット 
入門／解説 Hugging Face社のオンライン無料NLP学習コースの紹介
１．Hugging Face社のオンライン無料NLP学習コースの紹介まとめ ・Hugging Face社がHugging Faceライブラリを使用したNLP用の無料オンラインコースを公開 ・自作ライブラリだけでなく、NLPで最先端のタスクを...
学習手法 HuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(2/2)
１．HuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(2/2)まとめ ・HuBERTは完全に音声データだけでトレーニングされたNLPシステムを開発するのに役立つ ・AI音声アシスタントは人が発音するニュアンスや感情を考慮し...
学習手法 KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合
１．KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望まし...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)まとめ ・視覚言語間マッチングモデルは文章や画像を入力して関連性の高い画像を見つけるのに役立つ ・最先端の視覚および視覚対言語モデルは厳選されたトレー...
モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)まとめ ・FELIXは完全に非自己回帰であり最先端のスコアを達成しながら高速な推論を実現可能 ・事前トレーニングとマスク言語モデルを念頭に必要なトレーニングデータ...
モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)まとめ ・seq2seqは自然言語生成タスクで好まれるが単一言語が対象の際は最適でない可能性 ・自己回帰で低速であり単一言語では入力が出力にコピーされるだけの事が...
モデル 2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggleのコ...
モデル BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するためにス...
モデル BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTransfo...
モデル 幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)まとめ ・Routing TransformersとREALMに基づいた質問応答システムは従来のスコアを更新 ・しかし既存のベンチマークには進歩を妨げるいくつかの問...
モデル 幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベース...