URL2Video：Webページから自動でビデオを作成する実験(1/2)

１．URL2Video：Webページから自動でビデオを作成する実験(1/2)まとめ

・URL2Videoは指定された制約を元にWebページを短いビデオに自動変換する研究段階のソフト
・HTMLから資産とそのスタイルを抽出し同様の見た目と感性を維持しながらビデオに編成
・Webデザインとビデオ広告の作成に精通したデザイナーの一連の知見に基づいている

２．URL2Videoとは？

以下、ai.googleblog.comより「Experimenting with Automatic Video Creation from a Web Page」の意訳です。元記事の投稿は2020年10月29日、Peggy ChiさんとIrfan Essaさんによる投稿です。

試作段階のためか、URL2Videoは一般公開はされていないようです。アイキャッチ画像のクレジットはPhoto by JESHOOTS.COM on Unsplash

Googleは、作曲や動画フレームの修正、画像制作など、マルチメディアコンテンツを作成する際に、機械学習とコンピュータを活用した創造的なツールを人々がどのように使用できるかを積極的に模索しています。

特にビデオ制作という1つの創造的なプロセスは、このようなツールから特に恩恵を受けることができます。どの動画コンテンツがターゲットとなる聴衆に最も適しているかについての判断、被写体を動画内に配置する方法、およびどのような時間的変化が最も動画に説得力のある物語を生み出すか、などの決定が必要になるためです。

しかし、Webサイトなどの既存のコンテンツ資産を活用して、ビデオ作成をすぐに開始できるとしたらどうでしょうか？

企業は通常、サービスや製品に関する豊富な視覚的表現を含むWebサイトを運営しています。これらは全て、ビデオなどの他のマルチメディア形式に再利用でき、豊富なリソースを持たないユーザーがより多くのユーザーに知って貰う事ができるようになる可能性があります。

UIST 2020で発表した論文「Automatic Video Creation From a Web Page」では、URL2Videoを紹介しています。

URL2Videoはコンテンツ所有者によって指定された時間的および視覚的な制約を前提として、Webページを短いビデオに自動的に変換する研究段階の試作ソフトです。

URL2Videoは、HTMLから資産(テキスト、画像、またはビデオ)とそのデザインスタイル(フォント、色、グラフィックレイアウト、階層など)を抽出します。そして、元となるページと同様の見た目と感性を維持しながら、視覚的コンテンツを連続したショットに編成します。

ユーザーが指定した構成比と時間を指定すると、再利用された素材が製品やサービスの広告に最適なビデオに変換されます。

URL2Videoの概要
ユーザーが自分のビジネスを説明するWebページへのURLを入力として提供するとします。

URL2Videoパイプラインは、ページから主要なコンテンツを自動的に選択し、Webデザインとビデオ広告の作成に精通したデザイナーへのインタビュー調査から得られた一連の知見に基づいて、各資産の時間的および視覚的な表示を決定します。

これらのデザイナーから情報提供された知見は、コンテンツ階層、ショット内の情報量とその継続時間の制限、ブランディングに一貫した色とスタイルを提供する事など、一般的なビデオ編集スタイルを捕捉しています。

この情報を使用して、URL2VideoはWebページを解析し、コンテンツを分析し、ユーザーが提供するビデオ仕様に従ってデザインスタイルを維持しながら、視覚的に目立つテキストまたは画像を選択し。ビデオとして編成します。

URL2Videoは、入力Webページから構造コンテンツとデザインを抽出することにより、自動編集決定を行い、ビデオに重要なメッセージを表示します。これは、ユーザーによって定義された出力ビデオの時間的(例えば、秒単位の期間)および空間的(たとえば、縦横比)の制約を考慮します。

ウェブページ分析
WebページのURLを指定すると、URL2Videoはドキュメントオブジェクトモデル(DOM:document object model)情報とマルチメディアコンテンツを抽出します。

今回は調査用プロトタイプを作成する目的であるため、対象を静的なWebページで構成されるサイトに限定しました。これらのサイトには最近のWebデザイン原則に従った階層化されたHTMLに保存されたわかりやすい資産と見出しが含まれています。これにより、目立つ要素、個別のセクション、および読者が情報を認識する際の視覚的な焦点の順序の使用が促進されます。

URL2Videoは、このような視覚的に区別できる要素を資産グループへの候補リストとして識別します。各グループには、見出し、製品画像、詳細な説明、行動を促すフレーズのボタンが含まれ、生の資産(テキストファイルとマルチメディアファイル)と各要素の詳細な設計仕様(HTMLタグ、CSSスタイル、およびレンダリングされた場所)の両方を捕捉します。

次に、HTMLタグ、レンダリングされたサイズ、ページに表示される順序など、外観と注釈に基づいて各優先度スコアを割り当てることにより、資産グループをランク付けします。ページ上部のより広い領域を占める資産グループは、より高いスコアを受け取ります。