Keep Learning! Fail and open the door to a new world!
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んでも非常に自然に見える文章を生成する能力にも優れている ・特にピーナッツバターへの愛は冷静に読めば絶対まずそうなレシピなのに凄そうに見える迫力を持つ ２．ピーナッ […]
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組み合わせてGoogle Cloud TPUアクセラレータで規模を拡大 ・最大のモデルはGLUE、SuperGLUE、SQuAD、及びCNN/Daily Mail […]
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)まとめ ・「分析業務」および「AIを現行業務に適用する業務」のステータスと認識の改善 ・解釈する必要があるデータは、常に偏見に対するリスクを伴います。偏見のないデータは独立している ・アルゴリズム、モデル、チャットボットが誰かの人生に影響を与える可能性があると言う認識の必要性 ２．開発視点から […]
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバラつきが出てしまうため新たな基準を開発した ・会話の分別度と具体度を測るSSAという新たしい基準で測定した所、Meenaは人間に迫るスコアを出した ２．SSAと […]
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル会話モデルで雑談対応可能 ・Meenaは現在の状況を意識して会話に適切に応答する事を学習しており人間と自然な対話が出来る ２．Meenaとは？ 以下、ai.go […]
