RepNet：人工知能で動画内の反復行動を数える(2/2)
１．RepNet：人工知能で動画内の反復行動を数える(2/2) ・RepNetは反復行動動画を合成し、更に軸をずらしてカメラの動きを摸倣した合成データで学習した ・特定の反復行動にとらわれず多くの異なる領域で反復動作を数える事ができるモデルとして機能 ・RepNetを使用して、反復行動の速度に変化がないか監視する事も可能。初見の行動にも対応可能 ２．RepNetとは？ 以下、ai.googlebl […]
RepNet：人工知能で動画内の反復行動を数える(1/2)
- 2020.07.03
- ベンチマーク, transformer, video
１．RepNet：人工知能で動画内の反復行動を数える(1/2) ・月の満ち欠けや心拍や呼吸、製造ラインや交通パターンなどの反復行動は現実世界で一般的 ・反復行動を理解する事でより複雑な行動パターンを認識できたり様々な洞察を得る事ができる ・RepNetは様々な反復行動を含む動画を受け取り、その繰り返し期間を認識可能なモデル ２．RepNetとは？ 以下、ai.googleblog.comより「Re […]
自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず ・これを利用しBERTと同様なデータ自体の構造にのみ依存した自己教師学習で特徴表現を学習した ・TRILLはMobileNetに基づいているため高速で従来の特徴表現と比べても高い性能を発揮するモデル ２．TRILL […]
自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比較する事が困難 ・音声関連の特徴表現学習研究コミュニティにデータセット、モデル、測定ツールの3つの貢献を行った ２．非セマンティックな音声タスクとは？ 以下、a […]
AttentionAgent：重要度が低い情報を無視する強化学習エージェント(2/2)
１．AttentionAgent：重要度が低い情報を無視する強化学習エージェント(2/2)まとめ ・Attention Agentは主要タスクにとって重要ではない情報を無視するので小規模環境変化に対応可能 ・しかし、背景を猫動画に変更するような劇的に変化した環境にまだ対応できない制限がある ・複雑なタスクには不十分なため、より意味のある特徴を学習する事が今後の研究課題となる ２．Attention […]