基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)まとめ ・通常、モデルは有限のサンプルを使ってトレーニングをされるのでデータは再利用される ・データが無限に存在す...
SGD
基礎理論 
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(2/2)まとめ ・TracInはクラスタリングアルゴリズム内の類似性関数として使用可能 ・TracInは「SGD(またはSGDの亜種)を使用してトレーニングしている事」以外に条件...
データセット TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)
１．TracIn：トレーニング事例の影響を推定する簡単な方法(1/2)まとめ ・トレーニングデータの品質はモデルのパフォーマンスに大きな影響を与える可能性がある ・様々な手法が提案されているが追加リソースやトレーニングが必要であり採用が困難...
入門／解説 AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)
１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(2/2)まとめ ・AutoML-Zeroは探索空間が非常にまばらになり正確に動作するアルゴリズムが少なくなるケースがある ・適切な時間内に解が見つからない可能性...
学習手法 Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(1/2)
１．Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(1/2)まとめ ・アクセラレータは並行して処理を増やす事とトレーニングをより速く処理する事で学習速度を向上できる ・並行して処理には限界がある事がわかっ...
入門／解説 Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事...
入門／解説 Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNe...
データセット SGD:スキーマガイド付き対話学習用データセット(2/2)
１．SGD:スキーマガイド付き対話学習用データセット(2/2)まとめ ・SGDデータセットは関数とそのパラメータをリスト化するマスタースキーマアプローチを採用していない ・代わりにスキーマガイドアプローチを採用しスキーマの特徴表現を学習させ...