Keep Learning! Fail and open the door to a new world!
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事により過学習状態が解消される現象も見受けられる ・ディープニューラルネットワークの二重降下現象の背後にあるメカニズムは重要な未解決の問題 ２．モデルサイズとデー […]
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNet、およびTransformerなどの最新モデルでも発生し二重降下現象と呼ばれる ・より多くのデータを使ったためにパフォーマンスが劣化してしまう可能性がある事を […]
１．SGD:スキーマガイド付き対話学習用データセット(2/2)まとめ ・SGDデータセットは関数とそのパラメータをリスト化するマスタースキーマアプローチを採用していない ・代わりにスキーマガイドアプローチを採用しスキーマの特徴表現を学習させ対話システムへの追加入力とする ・このスキーマガイドアプローチによりトレーニングデータに存在しない新しいサービスへの対応が可能 ２．スキーマガイドアプローチ 以 […]
１．SGD:スキーマガイド付き対話学習用データセット(1/2)まとめ ・バーチャルアシスタントの保守運用や機能追加の難しさは適切なデータセットがない事が一因 ・Schema-Guided Dialogueデータセット(SGD)はこの問題に対処する最大のタスク指向ダイアログコーパス ・スキーマに基づくアプローチとBERTのような事前訓練言語モデルの能力により対話状態が追跡可能になる ２．SGDとは？ […]
１．2019年4月時点のGANに関する未解決な問題(6/7)まとめ ・GANのトレーニングとバッチサイズがどのように連動するかは深く確かめられていない ・バッチサイズに連動するかどうかは勾配ノイズの割合が主要要因になる事が示唆されている ・Optimal Transport GANと非同期SGDが今後の研究対象として有望かおしれない ２．GANを評価する方法 以下、distill.pubより「Op […]
