neurips

AI

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するため...
AI

BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)

1.BigBird:疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTrans...
AI

超並列グラフ計算:理論から実践へ(2/2)

1.超並列グラフ計算:理論から実践へ(2/2)まとめ ・AMPCモデルを使用して、実用的で効率的な実装に触発された理論的フレームワークを構築 ・優れた実証的パフォーマンスと障害耐性を維持する新しい理論的アルゴリズム ・グラフのサイズに...
AI

超並列グラフ計算:理論から実践へ(1/2)

1.超並列グラフ計算:理論から実践へ(1/2)まとめ ・大規模なグラフは数千億の頂点を含むため一台のコンピュータでは処理しきれない ・複数のコンピューターで分散処理を行う事で兆単位のグラフを処理できるが課題も発生 ・分散ハッシュテーブ...
AI

ディープラーニングコースを受講した生徒からの興味深い質問(4/4)

1.ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の...
タイトルとURLをコピーしました