基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)まとめ ・ニューラルネットワークの性能を調整する際はネットワークの深さや幅が調整される ・しかし精度以外にこれらの違いがどのように影響するかについての理解...
deep learning
基礎理論 
学会 ICLR 2021におけるGoogleの存在感
１．ICLR 2021におけるGoogleの存在感まとめ ・2021年5月3日(月)から7日(金)まで仮想空間でICLR 2021が開催 ・Google AIブログで概要が発表済みの論文も10存在するので要チェック ・Gradient Bo...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2) ・Panoptic-DeepLabは複数フレームにおける深度推定やインスタンスID付与ができない ・ViP-DeepLabは2つの連続...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2) ・人間は二次元画像である写真から三次元環境に関する視覚情報を非常に簡単に取得できる ・自動運転などを実現するためには同様に平面画像から...
モデル MaX-DeepLab：デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(1/2)
１．MaX-DeepLab：デュアルパストランスフォーマーを使ってパノプティックセグメンテーションを直接実行(1/2)まとめ ・パノプティックはセマンティックとインスタンスの両セグメンテーションを統合したもの ・従来の最高手法は画像から直接...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な効果...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)まとめ ・通常、モデルは有限のサンプルを使ってトレーニングをされるのでデータは再利用される ・データが無限に存在す...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...