Keep Learning! Fail and open the door to a new world!
１．Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(1/2)まとめ ・アクセラレータは並行して処理を増やす事とトレーニングをより速く処理する事で学習速度を向上できる ・並行して処理には限界がある事がわかっているが処理速度向上は前処理による影響を受ける ・前処理が完了するまでアクセラレータに待機状態が発生する場合はデータを再利用する事で改善が可能 ２．Data E […]
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事により過学習状態が解消される現象も見受けられる ・ディープニューラルネットワークの二重降下現象の背後にあるメカニズムは重要な未解決の問題 ２．モデルサイズとデー […]
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNet、およびTransformerなどの最新モデルでも発生し二重降下現象と呼ばれる ・より多くのデータを使ったためにパフォーマンスが劣化してしまう可能性がある事を […]
１．SGD:スキーマガイド付き対話学習用データセット(2/2)まとめ ・SGDデータセットは関数とそのパラメータをリスト化するマスタースキーマアプローチを採用していない ・代わりにスキーマガイドアプローチを採用しスキーマの特徴表現を学習させ対話システムへの追加入力とする ・このスキーマガイドアプローチによりトレーニングデータに存在しない新しいサービスへの対応が可能 ２．スキーマガイドアプローチ 以 […]
１．SGD:スキーマガイド付き対話学習用データセット(1/2)まとめ ・バーチャルアシスタントの保守運用や機能追加の難しさは適切なデータセットがない事が一因 ・Schema-Guided Dialogueデータセット(SGD)はこの問題に対処する最大のタスク指向ダイアログコーパス ・スキーマに基づくアプローチとBERTのような事前訓練言語モデルの能力により対話状態が追跡可能になる ２．SGDとは？ […]
