モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(2/2)まとめ ・LEAFは小さな分類器と組み合わせた場合でもパラメーター全体の0.01%しか占有しない ・LEAFは話者識別、音響シーン認識、楽器の識別...
モデル モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)まとめ ・音声分類用のモデルは生音声ではなく前処理されたデータを扱う事が多い ・メルフィルターバンクは人間の聴覚反応を再現するように設計されたフィ...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(2/2)まとめ ・優れたモデルとトレーニングとは、理想世界で迅速で現実世界では迅速すぎない事 ・事前トレーニングの主な効果...
基礎理論 Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)
１．Deep Bootstrap Framework：データが無限に存在する世界ではディープラーニングはどうなるか？(1/2)まとめ ・通常、モデルは有限のサンプルを使ってトレーニングをされるのでデータは再利用される ・データが無限に存在す...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
学習手法 ニューラルネットワークを疎にして推論を高速化(2/2)
１．ニューラルネットワークを疎にして推論を高速化(2/2)まとめ ・密なバージョンから重みの一部を徐々にゼロにしていく事がスパース化のコツ ・トレーニング時間の増加で品質を低下させることなく深層学習モデルをスパース化可能 ・スパースネットワ...
学習手法 ニューラルネットワークを疎にして推論を高速化(1/2)
１．ニューラルネットワークを疎にして推論を高速化(1/2)まとめ ・モデル最適化には大部分の重みが0に設定されているスパースニューラルネットワークが有効 ・しかし良く使われる畳み込みスパース化するツールとサポートするツールがなかった ・XN...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...