mt-dnn

T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)

AI

1.T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発 ・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能 2.T5とは? 以下、ai.g […]

人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)

AI

1.人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要 ・より複雑なデータサイエンスの問題には、特定分野の専門家による介入とガイドが不可欠となる ・良い目的で使用されるAIと悪い目的で使用されるAI間の綱引きは引き続いていく 2.DIY AI時代 以下、ww […]

機械学習のトップマインドによる2020年のAI予測(2/3)

AI

1.機械学習のトップマインドによる2020年のAI予測(2/3)まとめ ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待 ・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測 ・顔認識AIなど個人のプライバシーに関する倫理的問題が表面化する可能性もある 2.大規模モデルと自己教師学習の追求 以下、venturebeat.comより「Top minds in ma […]

MT-DNN:BERTを凌駕するMicrosoftの新しいNLPモデル

AI

1.MT-DNN:BERTを凌駕するMicrosoftの新しいNLPモデルまとめ ・MT-DNNはマイクロソフトが発表した新しい自然言語処理モデルでBERTを上回るスコアを出した ・2015年に提案したモデルに基づいて構築されマルチタスク学習と事前トレーニングを取り込んでいる ・MT-DNNによる特徴表現はBERTによる特徴表現よりも効率的に他の分野の作業に適応できる 2.MT-DNNとは? 以下 […]