モデル USM:100以上の言語に対応した最先端の音声AI(2/2)
１．USM:100以上の言語に対応した最先端の音声AI(2/2)まとめ ・事前学習で得た知識によりUSMは下流タスクからのわずかな量の教師ありデータで良好な品質を達成することができる ・YouTubeデータを使った検証では73言語の平均で3...
multilingual
モデル モデル USM:100以上の言語に対応した最先端の音声AI(1/2)
１．USM:100以上の言語に対応した最先端の音声AI(1/2)まとめ ・昨年の11月、Googleは世界で最も話されている1,000の言語をサポートする機械学習モデルの構築を目標に掲げた ・ユニバーサルスピーチモデルはその実現に向けた重要...
データセット XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(2/2)
１．XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(2/2)まとめ ・36言語のほとんどで適切な地域から100枚の画像を収集する事に成功した ・注釈付け作業も画像の内容のみに基づいてキャプションを生成す...
データセット XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(1/2)
１．XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(1/2)まとめ ・画像キャプショニングは画像に対する説明文を自動的に生成する機械学習タスク ・視覚情報と言語情報を同時に扱うためマルチモーダル研究の中...
モデル PaLI:言語-画像モデルを100以上の言語に規模拡大(2/2)
１．PaLI:言語-画像モデルを100以上の言語に規模拡大(2/2)まとめ ・全タスクを単一の汎用API経由で実施する事でタスク間の知識共有を行った ・PaLIは難易度の高い汎用的な視覚-言語ベンチマークで最先端の結果を達成 ・視覚と言語の...
モデル PaLI:言語-画像モデルを100以上の言語に規模拡大(1/2)
１．PaLI:言語-画像モデルを100以上の言語に規模拡大(1/2)まとめ ・言語モデルは規模拡大すると多様な能力を発揮できるようになり成功している ・視覚と言語を同時に扱う視覚-言語モデルの規模拡大と多言語化対応に挑戦した ・109言語に...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2) ・スマホの音声の自動書き起こしアプリなどでも非流暢性の除去は読みやすさ向上に貢献 ・リアルタイムに発生するストリーミング...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)まとめ ・単一巨大モデルを高リソース言語の翻訳タスクと低リソース言語のMASSタスクで訓練した ・入力が同じ言語で不明瞭な文章か、まったく別の言語かはモデルからすれば大きな...
データセット CVSS：大規模多言語音声間翻訳データセット(2/2)
１．CVSS：大規模多言語音声間翻訳データセット(2/2)まとめ ・CVSSは翻訳音声の他に、翻訳音声の発音に合わせた正規化された翻訳文も提供 ・CVSSはCreative Commons Attribution 4.0 Internati...
データセット CVSS：大規模多言語音声間翻訳データセット(1/2)
１．CVSS：大規模多言語音声間翻訳データセット(1/2)まとめ ・ある言語の音声を別の言語の音声に自動翻訳する事を音声合成翻訳(S2ST)という ・S2STは直接翻訳するタイプと複数システムを連結して実現する２種が存在する ・直接型のS2...
モデル MURAL:ヒンディー語で野菜を入れない麺が入った丼を検索されても対応画像を探せる人工知能(1/2)
１．MURAL:ヒンディー語で野菜を入れない素の麺が入った丼を検索されても対応画像を探せる人工知能(1/2)まとめ ・概念の多くは、ある言語から別の言語への直接的に一対一に翻訳する事ができない ・連想するものが異なるためだが概念のイメージを...
モデル Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(2/2)
１．Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(2/2)まとめ ・翻訳前後で話者の声を保持するために同じ話者の声を使用してS2STモデルをトレーニングする ・多数のバイリンガルに協力して貰うのは難しいのでPnG...