モデル MMCC:ラベル付けされていない動画から将来を予測する(1/2)
１．MMCC:ラベル付けされていない動画から将来を予測する(1/2)まとめ ・AIが次にどのように行動すべきかを計画できるようになるためには未来予測が必要 ・そのために意味のある変化が時間の経過とともにどのように展開するか知る必要がある ・...
video analysis
モデル 
AI関連その他 人々の表情は国や地域が変わっても場面によって共通なのか？(2/2)
１．人々の表情は国や地域が変わっても場面によって共通なのか？(2/2)まとめ ・ビデオ内の場面を自動的に認識させるために2種のDNNを使用した ・表情と場面の相関関係は文化間の違いに関わらず７割程度が同じだった ・逆に言えば地域間で最大30...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2) ・Panoptic-DeepLabは複数フレームにおける深度推定やインスタンスID付与ができない ・ViP-DeepLabは2つの連続...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2) ・人間は二次元画像である写真から三次元環境に関する視覚情報を非常に簡単に取得できる ・自動運転などを実現するためには同様に平面画像から...
アプリケーション URL2Video：Webページから自動でビデオを作成する実験(2/2)
１．URL2Video：Webページから自動でビデオを作成する実験(2/2)まとめ ・簡潔な情報提供と元ページと一致したデザインを目標としてビデオが作成されている ・経験則的な設計思想に従って、個々の場面の資産提示時間及び空間的配置が決定さ...
アプリケーション URL2Video：Webページから自動でビデオを作成する実験(1/2)
１．URL2Video：Webページから自動でビデオを作成する実験(1/2)まとめ ・URL2Videoは指定された制約を元にWebページを短いビデオに自動変換する研究段階のソフト ・HTMLから資産とそのスタイルを抽出し同様の見た目と感性...
アプリケーション ビデオ会議時に手話で発言権を確保できるようにする(1/2)
１．ビデオ会議時に手話で発言権を確保できるようにする(1/2)まとめ ・ビデオ会議で手話を検知するのは全カメラのビデオ入力を分類対象とする必要があり困難 ・以前の試みで通話品質への影響を最小限に抑えるために軽量モデルが重要な事が判明 ・その...
モデル RepNet：人工知能で動画内の反復行動を数える(2/2)
１．RepNet：人工知能で動画内の反復行動を数える(2/2) ・RepNetは反復行動動画を合成し、更に軸をずらしてカメラの動きを摸倣した合成データで学習した ・特定の反復行動にとらわれず多くの異なる領域で反復動作を数える事ができるモデル...
モデル RepNet：人工知能で動画内の反復行動を数える(1/2)
１．RepNet：人工知能で動画内の反復行動を数える(1/2) ・月の満ち欠けや心拍や呼吸、製造ラインや交通パターンなどの反復行動は現実世界で一般的 ・反復行動を理解する事でより複雑な行動パターンを認識できたり様々な洞察を得る事ができる ・...
モデル AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)まとめ ・なるべく全ての顔を画面に収めるモードと全ての顔を必ず画面に収めるモードの２つのモードを提供 ・今後の研究としてはテキストやロゴを新しいアスペクト比によりよ...
モデル AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)まとめ ・AutoFlipはシーン全体を観てどこの部分に焦点を当てるべきかを判断するためシーンをバッファする ・次にディープラーニングベースの物体検出モデルを使用し...
画像生成 AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)まとめ ・テレビやデスクトップパソコン用のビデオはアスペクト比が違うのでモバイルデバイスでの再生に不適 ・従来のアスペクト比を修正する手法は固定箇所を切り抜くため重...