AI PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ
・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった
・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなる...
gpt-2
AI 
AI GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ
・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる
・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能
・現時点...
AI Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ
・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存
・より少ないデータから学習する手法に関心...
AI T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ
・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる
・またGPT-2のように人間が読...
AI T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ
・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た
・体系的な研究から得た最良の方法...