transformer

学習手法

HuBERT:話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)

1.HuBERT:話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)まとめ ・他の人の話を聞いたり交流するだけで音声をよりよく認識して学習するAIは大きな目標 ・実現には単語だけでなく話者の個性、感情、割り込みなど、多くを分...
アプリケーション

VTN:Transformerを使用した文書レイアウトの自動化(2/2)

1.VTN:Transformerを使用した文書レイアウトの自動化(2/2)まとめ ・レイアウトの品質と多様性という2つの基準に従ってVTNのパフォーマンスを評価 ・従来の研究は配置ルールに準拠できなかったり多様性に問題があったがVTN...
アプリケーション

VTN:Transformerを使用した文書レイアウトの自動化(1/2)

1.VTN:Transformerを使用した文書レイアウトの自動化(1/2)まとめ ・レイアウトやデザインルールは従う事は簡単だが例外があるため明確に定義することは困難 ・機械学習を使った自動デザインはレイアウト要素間の定義情報がないと...
学会

ICLR 2021におけるGoogleの存在感

1.ICLR 2021におけるGoogleの存在感まとめ ・2021年5月3日(月)から7日(金)まで仮想空間でICLR 2021が開催 ・Google AIブログで概要が発表済みの論文も10存在するので要チェック ・Gradient...
モデル

MaX-DeepLab:デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(2/2)

1.MaX-DeepLab:デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(2/2)まとめ ・MaX-DeepLabはパノプティコンセグメンテーションを直接トレーニングできる初の手法 ・マスクとクラスを...
モデル

MaX-DeepLab:デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(1/2)

1.MaX-DeepLab:デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(1/2)まとめ ・パノプティックはセマンティックとインスタンスの両セグメンテーションを統合したもの ・従来の最高手法は画像から...
モデル

2021年時点の各分野における最先端の機械学習モデルの紹介

1.2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggl...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
モデル

幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)

1.幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(2/2)まとめ ・Routing TransformersとREALMに基づいた質問応答システムは従来のスコアを更新 ・しかし既存のベンチマークには進歩を妨げるいくつか...
モデル

幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)

1.幅広い内容の質問に長文で回答可能な質問回答システムの進歩と課題(1/2)まとめ ・事実に基づく質問回答タスクに比べると長文形式の質問回答タスクの研究は非常に少ない ・長文形式の質問回答をRouting Transformerと検索ベ...
基礎理論

Deep Bootstrap Framework:データが無限に存在する世界ではディープラーニングはどうなるか?(2/2)

1.Deep Bootstrap Framework:データが無限に存在する世界ではディープラーニングはどうなるか?(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な...
タイトルとURLをコピーしました