AI2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggl...
nlp
AI
AIBigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
AIBigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
AI幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)まとめ ・Routing TransformersとREALMに基づいた質問応答システムは従来のスコアを更新 ・しかし既存のベンチマークには進歩を妨げるいくつか...
AI幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)
１．幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベ...