学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)まとめ ・強化学習の主流は既存知識を用いずにゼロから効率的に学習するタブラ・ラサ ・タブラ・ラサはアルゴリズムやアーキテクチャ変更時にゼロからやり直しが必要 ・RRLは既...
neurips
学習手法 
モデル MBT：動画における新しいモダリティ融合モデル(1/3)
１．MBT：動画における新しいモダリティ融合モデル(1/3)まとめ ・人は複数の感覚からの入力を通して世界と関わり情報を組み合わせる事が可能 ・同様に複数の入力を取扱可能なモデルをマルチモーダルな機械学習モデルという ・MBTと呼ぶ動画にお...
学習手法 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)まとめ ・GNNは学習サンプルが一様にランダムに選択されるIIDなサンプルである事を仮定している ・現実世界のデータは通常IIDではないため、偏...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...
学習手法 取り返しのつかない行動を避ける可逆性を意識した自己教師型強化学習(1/3)
１．取り返しのつかない行動を避ける可逆性を意識した自己教師型強化学習(1/3)まとめ ・強化学習エージェントは試行錯誤を繰り返するで元に戻せない行動をしてしまう事がある ・現実のロボットが部品破損につながる可能性のあるアクションを実行するこ...
学習手法 SupCon：対照学習を教師有り学習に拡張(2/2)
１．SupCon：対照学習を教師有り学習に拡張(2/2)まとめ ・SupConは他の手法と比較して様々なデータセットでtop1精度を一貫して向上させる ・SupConはAutoAugment、RandAugment、およびCutMixを一貫...
学習手法 SupCon：対照学習を教師有り学習に拡張(1/2)
１．SupCon：対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習のラベル...
モデル BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(2/2)まとめ ・ETCを更に拡張し元データに存在する構造に関する前提知識を不要とするBigBirdを開発 ・GPUやTPUを活用するためにス...
モデル BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTransfo...
モデル 超並列グラフ計算：理論から実践へ(2/2)
１．超並列グラフ計算：理論から実践へ(2/2)まとめ ・AMPCモデルを使用して、実用的で効率的な実装に触発された理論的フレームワークを構築 ・優れた実証的パフォーマンスと障害耐性を維持する新しい理論的アルゴリズム ・グラフのサイズに関係な...
モデル 超並列グラフ計算：理論から実践へ(1/2)
１．超並列グラフ計算：理論から実践へ(1/2)まとめ ・大規模なグラフは数千億の頂点を含むため一台のコンピュータでは処理しきれない ・複数のコンピューターで分散処理を行う事で兆単位のグラフを処理できるが課題も発生 ・分散ハッシュテーブルを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...