nlp

学習手法

KELM:ナレッジグラフを言語モデルの事前トレーニング資料に統合

1.KELM:ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望...
モデル

ALIGN:ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)

1.ALIGN:ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)まとめ ・視覚言語間マッチングモデルは文章や画像を入力して関連性の高い画像を見つけるのに役立つ ・最先端の視覚および視覚対言語モデルは厳選されたト...
モデル

FELIX:タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)

1.FELIX:タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)まとめ ・FELIXは完全に非自己回帰であり最先端のスコアを達成しながら高速な推論を実現可能 ・事前トレーニングとマスク言語モデルを念頭に必要なトレーニングデ...
モデル

FELIX:タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)

1.FELIX:タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)まとめ ・seq2seqは自然言語生成タスクで好まれるが単一言語が対象の際は最適でない可能性 ・自己回帰で低速であり単一言語では入力が出力にコピーされるだけの...
モデル

2021年時点の各分野における最先端の機械学習モデルの紹介

1.2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggl...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
モデル

幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)

1.幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)まとめ ・Routing TransformersとREALMに基づいた質問応答システムは従来のスコアを更新 ・しかし既存のベンチマークには進歩を妨げるいくつか...
モデル

幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)

1.幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベ...
アプリケーション

より少ないデータから表形式データを推論することを学習(2/2)

1.より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査...
アプリケーション

より少ないデータから表形式データを推論することを学習(1/2)

1.より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレー...
アプリケーション

Googleマップでインドの言葉の翻字を改善(1/2)

1.Googleマップでインドの言葉の翻字を改善(1/2)まとめ ・日本だと「Google 渋谷」でも「グーグル 渋谷」でも渋谷のGoogle入居ビルを捜せる ・同じ単語を別の文字で書く事を翻字(transliteration)と言い多...
タイトルとURLをコピーしました