学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解・重み更新はシンプルなオプティマイザーを使用するが性能は複...
backpropagation
学習手法 学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが多く...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面がある・...
入門／解説 AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)
１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)まとめ・従来のAutoMLは人間が設計した部品を組み合わせて新たな解決策を構築することに焦点を当てた・部品そのものを探索する事は大きな利点があるが計算量...