neurips

学習手法

SupCon:対照学習を教師有り学習に拡張(2/2)

1.SupCon:対照学習を教師有り学習に拡張(2/2)まとめ ・SupConは他の手法と比較して様々なデータセットでtop1精度を一貫して向上させる ・SupConはAutoAugment、RandAugment、およびCutMixを...
学習手法

SupCon:対照学習を教師有り学習に拡張(1/2)

1.SupCon:対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習の...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
モデル

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
モデル

超並列グラフ計算:理論から実践へ(2/2)

1.超並列グラフ計算:理論から実践へ(2/2)まとめ ・AMPCモデルを使用して、実用的で効率的な実装に触発された理論的フレームワークを構築 ・優れた実証的パフォーマンスと障害耐性を維持する新しい理論的アルゴリズム ・グラフのサイズに...
モデル

超並列グラフ計算:理論から実践へ(1/2)

1.超並列グラフ計算:理論から実践へ(1/2)まとめ ・大規模なグラフは数千億の頂点を含むため一台のコンピュータでは処理しきれない ・複数のコンピューターで分散処理を行う事で兆単位のグラフを処理できるが課題も発生 ・分散ハッシュテーブ...
基礎理論

ディープラーニングコースを受講した生徒からの興味深い質問(4/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の...
基礎理論

ディープラーニングコースを受講した生徒からの興味深い質問(2/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎...
基礎理論

ディープラーニングコースを受講した生徒からの興味深い質問(1/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面...
学習手法

PAIRED:3つのエージェントを使って強化学習の効率を向上(1/2)

1.PAIRED:3つのエージェントを使って強化学習の効率を向上(1/2)まとめ ・強化学習でシミュレートされたトレーニング環境を利用するケースが近年増加している ・シミュレート環境の弱点は作成される環境が多様性を欠く事であり環境の自動...
データセット

TracIn:トレーニング事例の影響を推定する簡単な方法(2/2)

1.TracIn:トレーニング事例の影響を推定する簡単な方法(2/2)まとめ ・TracInはクラスタリングアルゴリズム内の類似性関数として使用可能 ・TracInは「SGD(またはSGDの亜種)を使用してトレーニングしている事」以外に...
データセット

TracIn:トレーニング事例の影響を推定する簡単な方法(1/2)

1.TracIn:トレーニング事例の影響を推定する簡単な方法(1/2)まとめ ・トレーニングデータの品質はモデルのパフォーマンスに大きな影響を与える可能性がある ・様々な手法が提案されているが追加リソースやトレーニングが必要であり採用が...
タイトルとURLをコピーしました