アプリケーション Googleドキュメントで要約を自動生成(2/2)
１．Googleドキュメントで要約を自動生成(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッドアーキテクチャに蒸留 ・その結果オリジナルと同等の品質を保ちながら、待ち時間と必要メモリを大幅に改善 ・課...
rnn
アプリケーション 
モデル Pixel 4のタッチ操作を機械学習で改良(2/2)
１．Pixel 4のタッチ操作を機械学習で改良(2/2)まとめ ・「空間的特徴」に対応するCNNと「時間的進展」に対応するRNNを組み込んだネットワークを設計 ・意図的にシンプルな構成に保ち推論コストを最小限(1 MB未満のメモリ消費量)に...
学習手法 GboardにおけるRNNベースの手書き認識(2/2)
１．GboardにおけるRNNベースの手書き認識(1/2)まとめ ・タッチポイントをベジエ曲線にし、ベジエ曲線をQRNNでデコーダ行列に変換する ・デコーダ行列をCTCデコーダで最終的な文字に最も確からしい文字に変換する ・新しい文字認識モ...
入門／解説 GboardにおけるRNNベースの手書き認識(1/2)
１．GboardにおけるRNNベースの手書き認識(1/2)まとめ ・Googleは2015年から手書き文字入力アプリを提供していたが当初は機械学習ベースではなかった ・RNNベースに改良した結果、エラー率を大幅に改善する事ができた ・RNN...
学習手法 教師あり学習を使い音声データから個々人の声を聞き分ける
１．教師あり学習を使い音声データから個々人の声を聞き分けるまとめ ・音声データから誰が話しているか話し手を区別するダイアリゼ―ションの新手法の発表 ・教師あり学習ができるためラベル付きデータを有効活用して教師あり学習で品質を向上できる ・従...
入門／解説 人工知能の学習と単なる丸暗記は何が違うのか？
１．人工知能の学習と単なる丸暗記は何が違うのか？まとめ ・人工知能の学習は汎化や一般化と言われれ単なる記憶化とは異なる ・一般化した人工知能は未知の状況に対応できるが単なる記憶では対応できない。 ・CCAと言う手法を使い、一般化と記憶化の違...