Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバラつきが出てしまうため新たな基準を開発した ・会話の分別度と具体度を測るSSAという新たしい基準で測定した所、Meenaは人間に迫るスコアを出した ２．SSAと […]
openAI
1/8ページ
人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)
- 2020.01.12
- 転移学習, 強化学習, モバイル, ベンチマーク, BERT, TPU, クラウド, 音声, openAI, 深層学習, nlp, automl, 半教師, gpt-2, elmo, mt-dnn
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要 ・より複雑なデータサイエンスの問題には、特定分野の専門家による介入とガイドが不可欠となる ・良い目的で使用されるAIと悪い目的で使用されるAI間の綱引きは引き続いていく ２．DIY AI時代 以下、ww […]
人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性 ・2020年も言語モデルの分野で目覚ましい進歩が見られチューリングテストの合格に近づく可能性 ・ディープラーニングの表面的な活用だけでなく新しいアルゴリズム開発が科学分野で行われる可能性 ２．研究 […]
Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
- 2019.12.09
- SGD, transformer, openAI
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事により過学習状態が解消される現象も見受けられる ・ディープニューラルネットワークの二重降下現象の背後にあるメカニズムは重要な未解決の問題 ２．モデルサイズとデー […]
Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)
- 2019.12.08
- SGD, transformer, openAI, 深層学習
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNet、およびTransformerなどの最新モデルでも発生し二重降下現象と呼ばれる ・より多くのデータを使ったためにパフォーマンスが劣化してしまう可能性がある事を […]