neurips

AI

SupCon:対照学習を教師有り学習に拡張(2/2)

1.SupCon:対照学習を教師有り学習に拡張(2/2)まとめ ・SupConは他の手法と比較して様々なデータセットでtop1精度を一貫して向上させる ・SupConはAutoAugment、RandAugment、およびCutMixを...
AI

SupCon:対照学習を教師有り学習に拡張(1/2)

1.SupCon:対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習の...
AI

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
AI

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
AI

超並列グラフ計算:理論から実践へ(2/2)

1.超並列グラフ計算:理論から実践へ(2/2)まとめ ・AMPCモデルを使用して、実用的で効率的な実装に触発された理論的フレームワークを構築 ・優れた実証的パフォーマンスと障害耐性を維持する新しい理論的アルゴリズム ・グラフのサイズに...
タイトルとURLをコピーしました