モデル Omnimattes：動画内の影や砂煙も切出す事ができる最先端の人工知能(2/2)
１．Omnimattes：動画内の影や砂埃も切出す事ができる最先端の人工知能(2/2)まとめ ・画像を操作する手法は、偽情報を生成するために悪用される可能性があるので留意が必要 ・オムニマットは現状の制限としてカメラ位置が固定していないと画...
video
モデル モデル Omnimattes：動画内の影や砂煙も切出す事ができる最先端の人工知能(1/2)
１．Omnimattes：動画内の影や砂埃も切出す事ができる最先端の人工知能(1/2)まとめ ・前景と背景の分離を定義するマット画像があると画像やビデオの編集操作が容易になる ・最近の人工知能は画像やビデオ内に自動でマットを作成できるが影や...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2) ・Panoptic-DeepLabは複数フレームにおける深度推定やインスタンスID付与ができない ・ViP-DeepLabは2つの連続...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2) ・人間は二次元画像である写真から三次元環境に関する視覚情報を非常に簡単に取得できる ・自動運転などを実現するためには同様に平面画像から...
アプリケーション Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)
１．Lyra：音声圧縮用の新しい超低ビットレートコーデック(2/2)まとめ ・Lyraは計算量の少ないWaveRNNの亜種を使用することで生成モデルの計算の複雑さを回避 ・中級クラスのスマートフォン上でもリアルタイム処理が出来るほど軽量なモ...
アプリケーション シネマティック フォトの背後にある技術(1/2)
１．シネマティック フォトの背後にある技術(1/2)まとめ ・昨年12月Googleフォトの新機能としてシネマティック フォトが公開された ・人物を背景から切り離して動かす事で写真を撮った当時の没入感を再現 ・Google フォトの上部に出...
アプリケーション Pr-VIPE：異なる視点から撮影した画像間で人間の姿勢の類似性を認識(2/2)
１．Pr-VIPE：異なる視点から撮影した画像間で人間の姿勢の類似性を認識(2/2)まとめ ・Pr-VIPEを使用して異なった視点から撮影された動画から同じポーズを検索する事が可能 ・カメラパラメータを使用せずに異なる視点から同じポーズを取...
アプリケーション Pr-VIPE：異なる視点から撮影した画像間で人間の姿勢の類似性を認識(1/2)
１．Pr-VIPE：異なる視点から撮影した画像間で人間の姿勢の類似性を認識(1/2)まとめ ・人間の姿勢を画像や動画などで2次元として撮影するとカメラの視点によって見え方が異なる ・二次元情報のみを使用して三次元ポーズの類似性を認識できると...
AI関連その他 2020年版AIによる創造と夢(2/2)
１．2020年版AIによる創造と夢(2/2)まとめ ・OpenAIのGPT-3は造物主が何者であるのか問う質問に回答可能 ・OpenAIのJukeBoxは生の音を対象にして作風を真似て作曲が可能 ・これらを組み合わせるとAI主導のPodCa...
AI関連その他 2020年版AIによる創造と夢(1/2)
１．2020年版AIによる創造と夢(1/2)まとめ ・AIを使って作文、作曲、画像生成、合成音声、など様々な表現が出来るようになった ・それらを繋ぎ合わせて映像作品などを造られている方の2020年の作品集まとめ ・画像、動画、独自の空間効果...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進 ・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大 ・Au...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(3/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(3/3)まとめ ・CLIPは一般的な物体認識には優れているが抽象的または体系的なタスクには苦戦 ・CLIPは、言葉遣いや言い回しに過敏で機能させるために試行錯誤も必要 ・分類対...