アプリケーション Portrait Light：機械学習を使ってポートレートモードの照明を強化(2/2)
１．Portrait Light：機械学習を使ってポートレートモードの照明を強化(2/2)まとめ ・照明方向とポートレートを指定する照明を元の写真に追加するモデルを学習させた ・トレーニングには多数のポートレートが必要でLight Stag...
video
アプリケーション 
アプリケーション URL2Video：Webページから自動でビデオを作成する実験(2/2)
１．URL2Video：Webページから自動でビデオを作成する実験(2/2)まとめ ・簡潔な情報提供と元ページと一致したデザインを目標としてビデオが作成されている ・経験則的な設計思想に従って、個々の場面の資産提示時間及び空間的配置が決定さ...
アプリケーション URL2Video：Webページから自動でビデオを作成する実験(1/2)
１．URL2Video：Webページから自動でビデオを作成する実験(1/2)まとめ ・URL2Videoは指定された制約を元にWebページを短いビデオに自動変換する研究段階のソフト ・HTMLから資産とそのスタイルを抽出し同様の見た目と感性...
アプリケーション ビデオ会議時に手話で発言権を確保できるようにする(2/2)
１．ビデオ会議時に手話で発言権を確保できるようにする(2/2)まとめ ・手話検出モデル完成後、ビデオ会議アプリに手話による発言を検知させる必要があった ・手話検出モデルは手話を検出すると超音波を発声しアプリに疑似的な発音を検知させる ・通常...
アプリケーション ビデオ会議時に手話で発言権を確保できるようにする(1/2)
１．ビデオ会議時に手話で発言権を確保できるようにする(1/2)まとめ ・ビデオ会議で手話を検知するのは全カメラのビデオ入力を分類対象とする必要があり困難 ・以前の試みで通話品質への影響を最小限に抑えるために軽量モデルが重要な事が判明 ・その...
学会 ECCV 2020におけるGoogleの存在感
１．ECCV 2020におけるGoogleの存在感まとめ ・8/23から8/28の間インターネット上のヴァーチャルイベントとしてECCV 2020が開催 ・Google社員も多数参加し50を超える論文の発表やワークショップを開催 ・本サイト...
モデル RepNet：人工知能で動画内の反復行動を数える(2/2)
１．RepNet：人工知能で動画内の反復行動を数える(2/2) ・RepNetは反復行動動画を合成し、更に軸をずらしてカメラの動きを摸倣した合成データで学習した ・特定の反復行動にとらわれず多くの異なる領域で反復動作を数える事ができるモデル...
モデル RepNet：人工知能で動画内の反復行動を数える(1/2)
１．RepNet：人工知能で動画内の反復行動を数える(1/2) ・月の満ち欠けや心拍や呼吸、製造ラインや交通パターンなどの反復行動は現実世界で一般的 ・反復行動を理解する事でより複雑な行動パターンを認識できたり様々な洞察を得る事ができる ・...
学会 CVPR 2020におけるGoogleの存在感
１．CVPR 2020におけるGoogleの存在感まとめ ・6/14 - 6/19の間インターネット上のヴァーチャルイベントとしてCVPR 2020が開催 ・Google社員も多数参加し70近くの受理された出版物やワークショップを開催 ・本...
モデル AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(3/3)まとめ ・なるべく全ての顔を画面に収めるモードと全ての顔を必ず画面に収めるモードの２つのモードを提供 ・今後の研究としてはテキストやロゴを新しいアスペクト比によりよ...
モデル AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(2/3)まとめ ・AutoFlipはシーン全体を観てどこの部分に焦点を当てるべきかを判断するためシーンをバッファする ・次にディープラーニングベースの物体検出モデルを使用し...
画像生成 AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)
１．AutoFlip：機械学習を用いてビデオの最適な箇所を切り抜く(1/3)まとめ ・テレビやデスクトップパソコン用のビデオはアスペクト比が違うのでモバイルデバイスでの再生に不適 ・従来のアスペクト比を修正する手法は固定箇所を切り抜くため重...