モデル VDTTS：視覚駆動型の音声合成モデル(2/2)
１．VDTTS：視覚駆動型の音声合成モデル(2/2)まとめ ・TTSおよびTTS with length hintの両モデルより様々な観点でVDTTSは大きく優れている ・VDTTSはビデオフレームのみを使って話者が何を話しているかを予測す...
モデル モデル VDTTS：視覚駆動型の音声合成モデル(1/2)
１．VDTTS：視覚駆動型の音声合成モデル(1/2)まとめ ・ノイズの多い環境で録音されたオリジナルの音声をスタジオで再録音し品質を高める時がある ・新たに録音した音声と映像の同期を取る必要がありこの作業は難しく、面倒な作業となる ・VDT...
学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)
１．JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)まとめ ・JSRLは任意の初期ガイドポリシーや微調整アルゴリズムと組み合わせて使用する事が可能 ・視覚ベースタスクでも他のすべての手法よりも高速に改善可能で最も...
学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2)
１．JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2)まとめ ・強化学習は試行錯誤でタスクを実行するがゼロからポリシーを学習する事は難しい ・例えば複雑でゴールにどれだけ近づいているかを測定できないようなタスクの解...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)まとめ ・PaLMの性能はモデル規模の関数として表現でき、性能が更に向上可能である事が示唆される ・PaLMは適切な文脈で概念の組み合わせを理解するので絵文字から...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
データセット CVSS：大規模多言語音声間翻訳データセット(2/2)
１．CVSS：大規模多言語音声間翻訳データセット(2/2)まとめ ・CVSSは翻訳音声の他に、翻訳音声の発音に合わせた正規化された翻訳文も提供 ・CVSSはCreative Commons Attribution 4.0 Internati...
データセット CVSS：大規模多言語音声間翻訳データセット(1/2)
１．CVSS：大規模多言語音声間翻訳データセット(1/2)まとめ ・ある言語の音声を別の言語の音声に自動翻訳する事を音声合成翻訳(S2ST)という ・S2STは直接翻訳するタイプと複数システムを連結して実現する２種が存在する ・直接型のS2...