FaceForensics：ディープフェイク検出研究用のベンチマーク

１．FaceForensics：ディープフェイク検出研究用のベンチマークまとめ

・ディープラーニングは数年前には実現不可能と思われていた技術を実現させた
・悪用の危険性が高い偽動画、すなわちディープフェイクも広まってしまった
・ディープフェイク検出システムを学習させるための新しいデータセットが公開

２．ディープフェイクとは？

以下、ai.googleblog.comより「Contributing Data to Deepfake Detection Research」の意訳です。元記事は2019年9月24日、Nick DufourさんとAndrew Gullyさんによる投稿です。

深層学習は、ほんの数年前には不可能だと考えられていたテクノロジーを生み出しました。現在の生成モデルはこれらの1つの例であり、超現実的な画像、音声、音楽、さらにはビデオを合成することができます。

これらのモデルは、テキスト読み上げシステムにより世界をよりアクセスしやすくする事や、医療用のトレーニングデータを生成することを含む、さまざまなアプリケーションで使用されています。

しかし、他の革新技術と同様に、これは新しい課題を生み出しました。ビデオやオーディオを意のままに編集できるディープ生成モデルによって生成される、いわゆる「ディープフェイク」は課題の1つです。2017年後半に最初に登場して以来、多くのオープンソースなディープフェイク生成方法が登場し、合成された動画の数が増えています。多くはユーモアを提供する事を意図している可能性が高いですが、個人や社会に有害になる可能性を持つ動画もあります。

Googleはこれらの問題を深刻に考えています。昨年、私達の「AI原則(AI Principles)」として公開したように、人を傷つけたり誤用される可能性を軽減するためにAIの標準的な開発手法や利用方法を開発する事に取り組んでいます。

昨年1月、私たちは、高性能な偽音声検出器を開発するという国際的な課題を支援するために、合成音声のデータセットをリリースしました。このデータセットは、チャレンジの一環として150を超える研究機関および業界組織によってダウンロードされ、現在は一般に無料で利用できます。

本日、Jigsawと共同で、ディープフェイクの大規模なヴィジュアルデータセットのリリースを発表します。これは、Googleが共同で提供するミュンヘン工科大学とフェデリコ2世・ナポリ大学による新しいFaceForensicsベンチマークに組み込まれたものです。

これらのデータをFaceForensicsビデオベンチマークに組み込むために、Matthias Niessner教授、Luisa Verdoliva教授、FaceForensicsチームなどの主要な研究者と提携しています。 FaceForensicsのgithubページで本データをダウンロードできます。

FaceForensicsベンチマークにGoogleが貢献した動画のサンプル。これらを生成するために、俳優のペアがランダムに選択され、ディープニューラルネットワークが一人の俳優の顔を別の俳優の頭に入れ替えています。

このデータセットを作成するために、過去1年間にわたって、有料で同意を得た俳優と協力して、何百ものビデオを録画しました。公開されているディープフェイク生成方法を使用して、これらのビデオから何千ものディープフェイクを作成しました。結果として得られる本物のビデオと偽物のビデオは、ディープフェイク検出作業を直接サポートする私達の貢献です。

FaceForensicsベンチマークの一部として、このデータセットは、合成ビデオの検出方法の開発に使用するために、研究コミュニティに無料で提供されるようになりました。

さまざまなシーンで俳優を撮影しました。これらの俳優の一部は、上が本物で下がディープフェイクの例です。ディープフェイクは、合成に使用された他の俳優に応じて、微妙または劇的に変化する場合があります。

この分野は急速に進歩しているため、ディープフェイクテクノロジーが時間とともに進化するにつれて、このデータセットに新たにデータを追加し、この分野のパートナーと引き続き協力していきます。

私達は、合成メディアの誤用による潜在的な害を軽減することに関する活発な研究コミュニティをサポートする事に揺るぎない信念を持っており、FaceForensicsベンチマークでのディープフェイクデータセットの今日のリリースは、その方向への重要なステップです。

謝辞
このプロジェクトに協力してくれたすべてのチームメンバーと協力者に感謝します：Daisy Stanton, Per Karlsson, Alexey Victor Vorobyov, Thomas Leung, Jeremiah “Spudde” Childs, Christoph Bregler, Andreas Roessler, Davide Cozzolino, Justus Thies, Luisa Verdoliva, Matthias Niessner。そして、このデータセットの実現を支援してくれた勤勉な俳優達と撮影スタッフ。