学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)まとめ ・VideoBERTはベースラインとした完全教師付き学習のtop-5 accuracyに匹敵する精度を達成 ・VideoBERTはヴィジュアルトークン作成時に細...
self-supervised learning
学習手法 学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
入門／解説 TCC：繰り返し動作に着目して動画を理解する学習手法(2/2)
１．TCC：繰り返し動作に着目して動画を理解する学習手法(2/2)まとめ ・TCCを使うとポーズ、照明、ボディ、オブジェクトの種類などの差異に関わらず同じ動作を特定できる ・そのため、ラベル付き画像が少数しかない状態でアクションの分類や様々...
入門／解説 TCC：繰り返し動作に着目して動画を理解する学習手法(1/2)
１．TCC：繰り返し動作に着目して動画を理解する学習手法(1/2)まとめ ・特定の順序で行われる動作はキーとなる動作が常に存在し、他の条件が異なっても共通である ・例えばワインでもお茶でも水でも注ぐと言う動作には入れ物を手で掴む動作が必ず存...
モデル Grasp2Vec：物体を掴む事により認知能力を高める自己監視型強化学習(2/2)
１．Grasp2Vec：物体を掴む事により認知能力を高める自己監視型強化学習(2/2)まとめ ・Grasp2Vecは物体をベクトル表現する事で物体同士のベクトル演算を可能にする ・これによりGrasp2Vecは物体同士の類似性や指定物体の場...