学習手法 QuaRL:強化学習を量子化して高速化と環境負荷を低減(2/2)
１．QuaRL:強化学習を量子化して高速化と環境負荷を低減(2/2)まとめ ・ActorQでトレーニングの大幅な高速化と性能の維持が可能な事が確認された ・ポリシーの量子化で1.9倍から3.76倍まで炭素排出量の削減も確認された ・今後は他...
quantization
学習手法 学習手法 QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)
１．QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)まとめ ・深層強化学習は逐次意思決定問題大きな進展を続けているが学習時間が長い ・計算負荷が高い事により温室効果ガスの総排出量も多くなってしまう ・量子化を適用する事で性能...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)まとめ ・ByteQRNNはマージAttentionサブレイヤーと量子化ビーム探索で計算を効率化している ・事前学習済みのByteQRNNの性能は、3...
モデル ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)
１．ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)まとめ ・事前学習は入力信号が文章である事を仮定しないので量子化すれば画像も扱う事が可能 ・画像を離散トークンにエンコードし、それをCNNまたはTran...
基礎理論 SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)
１．SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)まとめ ・SoundStreamはスマートフォンのCPUでリアルタイムに実行可能で音声と音楽を処理できる ・単一モデルで可変ビットレートで高品質を実現する...
アプリケーション IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)
１．IconNet：スマホ画面上のアイコンを検出して音声でアプリ操作を可能にする(2/2)まとめ ・デバイス上で実行するためバックボーンの幅と深さをパフォーマンスに影響を与えずに削減 ・バックボーン選択後ニューラルアーキテクチャ探索(NAS...
基礎理論 機械学習のトップマインドによる2020年のAI予測(1/3)
１．機械学習のトップマインドによる2020年のAI予測(1/3)まとめ ・AIは単純な精度よりもパフォーマンスに重きを置いて評価されるようになっていく可能性が高い ・機械学習フレームワークの覇権争いは収束し次の主戦場はアクセラレータや量子化...