Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)

１．Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)まとめ

・GANをトレーニングするために、三次元の生き物モデルを利用して画像データセットを作成
・合成生物を生成するためには新しいファンタジー風のデータセットも必要になった
・三次元の生き物モデルからML学習用データセットを作成する半自動アプローチを開発

２．Chimera Painterの仕組み

以下、ai.googleblog.comより「Using GANs to Create Fantastical Creatures」の意訳です。2020年11月17日、Andeep Singh ToorさんとFred Bertschさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sinitta Leunen on Unsplash

GANをトレーニングするために、三次元の生き物モデルから作成した単一種の生き物の外観を使用したフルカラー画像のデータセットを作成しました。生き物の輪郭は、各生き物の形と大きさを特徴づけ、個々の体の部分を識別する分割部分を提供しました。モデルのトレーニング後、モデルは、アーティストから提供された外観に基づいて、複数種の合成生物を生成するタスクを実行します。次に、最高のパフォーマンスを発揮するモデルがChimera Painterに組み込まれました。以下に、モデルを使用して生成されたいくつかのサンプルを示します。これには、単一種の生き物や、より複雑な複数種の合成生物が含まれます。

カードゲームの試作品に統合された生成されたカードアートは、基本的な生き物(下段)と、ウスバカゲロウ-ヤマアラシ、メキシコサンショウウオ-クジラ、カニ-蟻-蛾(上段)などの複数の生き物からの合成生物を示しています。ゲーム自体の詳細については、以下のStadia Researchの動画プレゼンテーションをご覧ください。

YouTube

作成した動画を友だち、家族、世界中の人たちと共有

構造を持つ生き物を生成することを学習
クリーチャーを生成するためにGANを使用する際の問題は、画像の微妙な部分または低明度な箇所を生成する時に、解剖学的および空間的一貫性が失われる可能性があることでした。

この例には、目、指、または同様の質感を持つ重複した体部分の区別が含まれます。(以下の愛情を込めて命名されたBoggleDogをみてください)

GANで生成した体部分にミスマッチが含まれているBoggleDogの画像

合成生物を生成するには、劇的な遠近法、構図、照明などの独自の特性を備えた、写真以外の新しいファンタジースタイルのデータセットが必要でした。

イラストが集められている既存の保管庫は、MLモデルをトレーニングするためのデータセットとして使用するのに適切ではありませんでした。ライセンス制限があったり、スタイルが統一されていなかったり、このタスクに必要な多様性が不足している可能性があるためです。

これを解決するために、三次元の生き物モデルからMLトレーニングデータセットを作成するための新しいアーティスト主導の半自動アプローチを開発しました。これにより、大規模な作業を行い、必要に応じて迅速に反復することができました。

この処理では、アーティストは、必要な生き物タイプ(ハイエナやライオンなど)毎に1つずつ、三次元生き物モデルのセットを作成または取得します。

次に、アーティストは、UnrealEngineを使用して3Dモデルにオーバーレイされた2セットのテクスチャを作成しました。

1つはフルカラーのテクスチャ(下図の左)で、もう1つは「セグメンテーションマップ」(下図の右)と呼ばれる各身体部分(頭、耳、首など)のべた塗り画像です。

データセットトレーニング画像とそのペアのセグメンテーションマップの例

三次元の生き物モデルは全て、UnrealEngineを使用して単純な三次元シーンに配置されました。
次に、自動化されたスクリプトのセットがこの三次元シーンを取得し、各三次元生き物モデルの様々なポーズ、視点、ズームレベル間を補間して、GANのトレーニングデータセットを形成するフルカラー画像とセグメンテーションマップを作成します。

このアプローチを使用して、三次元生き物モデル毎に10,000以上の画像とセグメンテーションマップのペアを生成し、そのようなデータを手動で作成する場合(画像ごとに約20分)と比較して、アーティストの時間を数百万時間節約しました。