AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)まとめ ・大規模モデルは高い性能だが製品展開する上で法外に高いコストがかかる可能性があるためサービス効率を向上さ...
knowledge distillation
AI関連その他 
アプリケーション Googleチャットでの会話要約(2/2)
１．Googleチャットでの会話要約(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッド設計に蒸留した ・蒸留の結果Pegasusと同様の品質を保ちながら応答遅延とメモリ使用量を低減 ・低品質な要約をふ...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)まとめ ・生徒モデルをマッチングさせる手法はグローバルとローカルの２種があるがローカルを使った ・パラ言語情報の中間特徴表現は徐々に増加し、次に減少し、再び増加する二峰...
アプリケーション SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)
１．SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)まとめ ・Noisy Studentとknowledge distillationは似ているが後者はノイズを混入しない ・半教師あり蒸留は、生徒に蒸留する前に同等以上の規模の...
アプリケーション FRILL：TensorFlow-Liteを使用したオンデバイスで動作可能な音声特徴表現(1/2)
１．FRILL：TensorFlow-Liteを使用したオンデバイスで動作可能な音声特徴表現(1/2)まとめ ・昨年、音声の特徴表現を比較するベンチマークと新しい音声特徴表現モデルTRILLを公開 ・TRILLは有用だが単純な音声特徴を処理...