学習手法 ニューラルネットワークを疎にして推論を高速化(1/2)
１．ニューラルネットワークを疎にして推論を高速化(1/2)まとめ ・モデル最適化には大部分の重みが0に設定されているスパースニューラルネットワークが有効 ・しかし良く使われる畳み込みスパース化するツールとサポートするツールがなかった ・XN...
学習手法 
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)まとめ ・強化学習のシミュレーション環境を多様化して現実への転移を容易にする手法が求めらている ・トレーニング環境を自動的に作成する教師なし環境デザイン(UED)は１...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)まとめ ・強化学習でシミュレートされたトレーニング環境を利用するケースが近年増加している ・シミュレート環境の弱点は作成される環境が多様性を欠く事であり環境の自動構築...
インフラ Google Colabのランタイムをリモートホストに設定する
１．Google Colabのランタイムをリモートホストに設定するまとめ ・Google Colabのランタイムを自宅内のリモートPCに変更する際のメモ ・リモートに直接接続する事は出来ないのでsshでポートフォワードする事になる ・Ten...
インフラ Google ColabのランタイムをGCEに設定する
１．Google ColabのランタイムをGCEに設定するまとめ ・Google ColabのランタイムをGCEのインスタンスに変更する際のメモ ・Google Cloud SDKとDeep Learning VMの組み合わせだと楽に変更で...
基礎理論 EpochとBatch SizeとIterationsとNumber of batchesの違い
１．EpochとBatch SizeとIterationsとNumber of batchesの違いまとめ ・エポックとは全学習データの事。サイズが多くなるので分割して処理する事が多い ・エポックを分割したものをバッチと呼ぶ。バッチ内のデー...
アプリケーション Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)
１．Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)まとめ ・Lyraは計算量の少ないWaveRNNの亜種を使用することで生成モデルの計算の複雑さを回避 ・中級クラスのスマートフォン上でもリアルタイム処理が出来るほど軽量なモ...