入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
gpt-2
入門／解説 
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限...
入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ ・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存 ・より少ないデータから学習する手法に関心が集...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(1/3)まとめ ・「分析業務」および「AIを現行業務に適用する業務」のステータスと認識の改善 ・解釈する必要があるデータは、常に偏見に対するリ...
学習手法 Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバ...
入門／解説 Meena：どんな会話にも対応できるチャットボット(1/3)
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要 ・より複雑なデータサイエンスの問題には、特...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性 ・2020年も言語モデルの分野で目覚...
入門／解説 GPT-2のリリースから六か月後の振り返り(2/2)
１．GPT-2のリリースから六か月後の振り返り(2/2)まとめ ・この度公開された774Mモデルに関する研究や使用方法が今後の公開方法に影響する ・GPT-2は近い将来出現が予想される強力な生成モデルの取り扱いに関するテストケースとなる ・...
入門／解説 GPT-2のリリースから六か月後の振り返り(1/2)
１．GPT-2のリリースから六か月後の振り返り(1/2)まとめ ・六カ月前に公開された小型モデルの6倍のパラメータを持つ大規模GPT-2が公開された ・偽ニュースの検出の研究は進んでいるが決定的な手法はまだない ・7割の人がGPT-2が作成...