モデル MV-GPT：動画に説明文を自動で付与するための新手法(2/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(2/2)まとめ ・MV-GPTはマルチモーダル事前キャプションで従来モデルを大きく上回る事を実証した ・MV-GPTはVideoQA、テキスト-ビデオ検索、行動分類など、ビデオ理解...
video understanding
モデル モデル MV-GPT：動画に説明文を自動で付与するための新手法(1/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(1/2)まとめ ・マルチモーダルビデオキャプションは動画に説明文(キャプション)を生成するタスク ・根拠に基づいてキャプションを生成する必要があり動画理解タスクより困難なタスク ・...
入門／解説 TCC：繰り返し動作に着目して動画を理解する学習手法(2/2)
１．TCC：繰り返し動作に着目して動画を理解する学習手法(2/2)まとめ ・TCCを使うとポーズ、照明、ボディ、オブジェクトの種類などの差異に関わらず同じ動作を特定できる ・そのため、ラベル付き画像が少数しかない状態でアクションの分類や様々...
入門／解説 TCC：繰り返し動作に着目して動画を理解する学習手法(1/2)
１．TCC：繰り返し動作に着目して動画を理解する学習手法(1/2)まとめ ・特定の順序で行われる動作はキーとなる動作が常に存在し、他の条件が異なっても共通である ・例えばワインでもお茶でも水でも注ぐと言う動作には入れ物を手で掴む動作が必ず存...
ビッグデータ 動画解析のためのオープンデータYouTube-8Mの第二版とコンペの開催
１．動画解析のためのオープンデータYouTube-8Mの第二版とコンペの開催まとめ ・Googleが動画学習のためのデータセットであるYouTube-8Mを更新 ・説明ラベルの品質が大幅にアップし、619万の動画に3692種のラベルがついて...