AI GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ
・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった
・教師無し学習でラベルなしデータセットを活用する事が標準になる...
自己教師
AI 
AI 自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ
・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず
・これを利用しBERTと同様なデータ自体の構造にの...
AI 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ
・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク
・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否か...
AI PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ
・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった
・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなる...
AI オフライン強化学習に関する楽観的な見解(2/2)
１．オフライン強化学習に関する楽観的な見解(2/2)まとめ
・教師あり学習のアンサンブル手法を応用してREMと言う新しい強化学習アルゴリズムを開発
・REMはオフライン設定とオンライン設定で比較するとオフライン設定の方が高い性能を出せて...