AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)まとめ ・なるべく全ての顔を画面に収めるモードと全ての顔を必ず画面に収めるモードの２つのモードを提供 ・今後の研究としてはテキストやロゴを新しいアスペクト比によりよく適合するように再配置する事 ・及びディープアンクロップテクノロジーにより元々表示されていた画像を超えた部分も表示する事など ２．AutoFlipのアルゴリズム […]
AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)まとめ ・AutoFlipはシーン全体を観てどこの部分に焦点を当てるべきかを判断するためシーンをバッファする ・次にディープラーニングベースの物体検出モデルを使用して興味深い目立つコンテンツを見つける ・その後、静止モード、パンモード、追跡モードなどの最適な再フレーミング戦略を自動的に選択 ２．AutoFlipのアルゴリズ […]
AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)まとめ ・テレビやデスクトップパソコン用のビデオはアスペクト比が違うのでモバイルデバイスでの再生に不適 ・従来のアスペクト比を修正する手法は固定箇所を切り抜くため重要な箇所が抜け落ちてしまう事がある ・AutoFlipはビデオを分析し、最適な切り抜き箇所を追跡して切り抜くため最適なビデオを自動で再構成可能 ２．AutoFl […]
ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(3/3)
１．ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(3/3)まとめ ・合成データセットには地面に設置された透明な物体のみが含まれるという制限があった ・Matterport3DおよびScanNetデータセットのデータを利用して表面形状の学習を追加した ・ClearGraspの出力深度情報はRGB-D画像を使用する最先端のロボット操作アルゴリズムで使用可能 ２．ClearGrasp […]
ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(2/3)
１．ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(2/3)まとめ ・透明な表面は鏡面反射をするため、これを視覚的な手がかりとして深度推定を行っている ・ClearGraspは表面法線推定、オクルージョン境界推定、透明な物体のマスクの3ネットワークで構成 ・RGB-D 3Dカメラから出力される不透明な物体奥行情報の初期深度推定値を利用して精度を上げている ２．ClearGrasp […]