モデル 動画用ニューラルネットワークを自動で探索する試み(3/3)
１．動画用ニューラルネットワークを自動で探索する試み(3/3)まとめ ・従来モデルより大幅に早くビデオ認識が可能なTiny Video Networksも自動探索する事ができた ・アーキテクチャの自動進化中に実行時間を考慮し計算量を削減する...
video analysis
モデル モデル 動画用ニューラルネットワークを自動で探索する試み(2/3)
１．動画用ニューラルネットワークを自動で探索する試み(2/3)まとめ ・AssembleNetでは、様々なサブネットワークを融合する新しい方法を検討した ・目的は、ビデオの外観と動きの視覚的な手がかりをまとめて、より優れた特徴表現を学習する...
モデル 動画用ニューラルネットワークを自動で探索する試み(1/3)
１．動画用ニューラルネットワークを自動で探索する試み(1/3)まとめ ・現在動画用のモデルは通常既存の画像用モデルなどを元に手動で拡張設計されている ・動画用モデルは時空間情報を扱うためAutoMLのような自動化アプローチが困難 ・この課題...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
学習手法 カメラとモデルが動いている状況で奥行情報を予測(2/2)
１．カメラとモデルが動いている状況で奥行情報を予測(2/2)まとめ ・深度予測ネットワークへの入力は元映像、人をマスクした情報、視差から得られた深度マップ ・人間は物理的に一貫した形状と寸法を持つため内部的に事前学習させる事ができる ・これ...
学習手法 TALNet：Google Photosで動画から特別な瞬間を切り出す(2/2)
１．TALNet：Google Photosで動画から特別な瞬間を切り出す(2/2) ・二次元データを扱うFaster R-CNNを一次元の時系列データに応用するためには3つの課題があった ・時間に変動が大きい事、前後の状況が重要な事、入力...
学習手法 AlphaStar：StarCraftIIでプロプレーヤーに勝った人工知能(3/3)
１．AlphaStar：StarCraftIIでプロプレーヤーに勝った人工知能(3/3)まとめ ・AlphaStarはコンピュータ特有の優位性の利用は極力控えていた ・操作量は人間のプロプレーヤー同等、操作遅延も同等であった ・ミニマップを...
モデル Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(2/2)
１．Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(2/2)まとめ ・Fused Video Stabilizationは光学式手ブレ補正と電子式手ブレ補正の両方の応用 ...
学習手法 Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(1/2)
１．Fused Video Stabilization:Pixel 2とPixel 2 XLで手ブレのない動画を撮影する(1/2)まとめ ・Fused Video Stabilizationは光学式手ブレ補正と電子式手ブレ補正の両方の応用 ...
モデル Looking to Listen：動画から個々の音声を切出す試み
１．Looking to Listen：動画から個々の音声を切出す試みまとめ ・Googleがカクテルパーティー効果を人工知能で実現 ・複数の人が同時にしゃべっている動画から個別の音声を抜き出せた ・動画と音声の解析を連動させている事がTa...
モデル Googleがスマホ動画の背景を自由に変更できるアプリを開発
１．Googleがスマホ動画の背景を自由に変更できるアプリを開発まとめ ・Googleがスマホカメラで映した動画の背景を自由に変更できるアプリを開発 ・人工知能の予測でグリーンスクリーンがなくても自由に整形が変えられる ・コラージュだけでは...
画像生成 動画のコラージュとディープラーニング
アイコラ（アイドルコラージュ）、つまりセクシーな静止画像の顔の部分をアイドルや女優さんに差し替えるイタズラは１９９０年代くらいに流行した。当時は静止画像が中心で、高い画像編集技術を持つ人が丁寧に時間をかけてつなぎ目に違和感のないように顔部を...