学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
学習手法 
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(4/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(4/4)まとめ ・パラメータ数は相関且つ冗長なためモデル容量の目安として最適ではない ・モデル容量は一般化に関連するがDNNを把握するための概念ではなさそう ・専門家以外の人に、...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(2/2)まとめ ・強化学習のシミュレーション環境を多様化して現実への転移を容易にする手法が求めらている ・トレーニング環境を自動的に作成する教師なし環境デザイン(UED)は１...
学習手法 PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)
１．PAIRED：３つのエージェントを使って強化学習の効率を向上(1/2)まとめ ・強化学習でシミュレートされたトレーニング環境を利用するケースが近年増加している ・シミュレート環境の弱点は作成される環境が多様性を欠く事であり環境の自動構築...
インフラ Google Colabのランタイムをリモートホストに設定する
１．Google Colabのランタイムをリモートホストに設定するまとめ ・Google Colabのランタイムを自宅内のリモートPCに変更する際のメモ ・リモートに直接接続する事は出来ないのでsshでポートフォワードする事になる ・Ten...
インフラ Google ColabのランタイムをGCEに設定する
１．Google ColabのランタイムをGCEに設定するまとめ ・Google ColabのランタイムをGCEのインスタンスに変更する際のメモ ・Google Cloud SDKとDeep Learning VMの組み合わせだと楽に変更で...
基礎理論 EpochとBatch SizeとIterationsとNumber of batchesの違い
１．EpochとBatch SizeとIterationsとNumber of batchesの違いまとめ ・エポックとは全学習データの事。サイズが多くなるので分割して処理する事が多い ・エポックを分割したものをバッチと呼ぶ。バッチ内のデー...
アプリケーション Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)
１．Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)まとめ ・Lyraは計算量の少ないWaveRNNの亜種を使用することで生成モデルの計算の複雑さを回避 ・中級クラスのスマートフォン上でもリアルタイム処理が出来るほど軽量なモ...
アプリケーション Lyra：音声圧縮用の新しい超低ビットレートコーデック(1/2)
１．Lyra：音声圧縮用の新しい超低ビットレートコーデック(1/2)まとめ ・音声通話やビデオ通話には送信信号を効率的に圧縮するコーデックが重要 ・低速なネットワークでも音声通信を可能にする音声コーデックLyraを開発 ・Lyraは生成モデ...