自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず ・これを利用しBERTと同様なデータ自体の構造にのみ依存した自己教師学習で特徴表現を学習した ・TRILLはMobileNetに基づいているため高速で従来の特徴表現と比べても高い性能を発揮するモデル ２．TRILL […]
転移学習
1/10ページ
自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比較する事が困難 ・音声関連の特徴表現学習研究コミュニティにデータセット、モデル、測定ツールの3つの貢献を行った ２．非セマンティックな音声タスクとは？ 以下、a […]
Google翻訳の最近の進歩(2/2)
- 2020.06.16
- 転移学習
１．Google翻訳の最近の進歩(2/2)まとめ ・低リソース言語の翻訳品質向上には逆翻訳やM4モデリングなどが有効であった ・直近で行われた改良はフレーズベースの翻訳からNMTベースへ移行した4年前の改善度合いに匹敵 ・機械翻訳の幻覚に対する堅牢性も向上しており、文字の羅列を変に翻訳する事は減った ２．Google翻訳が行った改良 以下、ai.googleblog.comより「Recent Ad […]
Google翻訳の最近の進歩(1/2)
- 2020.06.15
- 転移学習, transformer
１．Google翻訳の最近の進歩(1/2)まとめ ・機械学習の進歩により自動翻訳品質が大幅に向上したがまだ人間のパフォーマンスには及ばない ・利用可能な学習用データが少ない低リソース言語の翻訳品質は特に多くの課題が残されている ・本投稿ではGoogle翻訳が取り込んだ技術、特に低リソース言語の品質改善に有効であった手法を紹介 ２．Google翻訳が行った改良 以下、ai.googleblog.co […]
BLEURT:人工知能が生成した文章の品質を評価(2/3)
１．BLEURT:人工知能が生成した文章の品質を評価(2/3)まとめ ・BLEURTは単語の重複度合に関わらず文章間の意味的類似性を捕捉できる新しい自動評価基準 ・内部的にはBERTの「文脈を意識した単語表現(contextual word representations)」を使用している ・人間の評価データを介して回帰モデルを直接トレーニングすることはあまり上手くいかなかった ２．BLEURTの […]