AIDeep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)まとめ ・通常、モデルは有限のサンプルを使ってトレーニングをされるのでデータは再利用される ・データが無限に存...
SGD
AI
AIディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の...
AIディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネット...
AIディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎...
AIディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面...