Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ ・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存 ・より少ないデータから学習する手法に関心が集まっており、少数ショット画像分類が人気の研究課題 ・Meta-Datasetは様々な画像分類モデルの小数ショット学習能力を測定する大規模ベンチマーク ２．Met […]
gpt-2
1/5ページ
T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
- 2020.03.01
- 転移学習, BERT, dataset, transformer, gpt-2
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んでも非常に自然に見える文章を生成する能力にも優れている ・特にピーナッツバターへの愛は冷静に読めば絶対まずそうなレシピなのに凄そうに見える迫力を持つ ２．ピーナッ […]
T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組み合わせてGoogle Cloud TPUアクセラレータで規模を拡大 ・最大のモデルはGLUE、SuperGLUE、SQuAD、及びCNN/Daily Mail […]
人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)まとめ ・「分析業務」および「AIを現行業務に適用する業務」のステータスと認識の改善 ・解釈する必要があるデータは、常に偏見に対するリスクを伴います。偏見のないデータは独立している ・アルゴリズム、モデル、チャットボットが誰かの人生に影響を与える可能性があると言う認識の必要性 ２．開発視点から […]
Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバラつきが出てしまうため新たな基準を開発した ・会話の分別度と具体度を測るSSAという新たしい基準で測定した所、Meenaは人間に迫るスコアを出した ２．SSAと […]