Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)

１．Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)まとめ

・ビデオゲーム用の画像作成時はアイデアをすばやく反復して大量の画像を作成する
・アーティストが人間のアシスタントのように振る舞う絵筆を持ったら生産性が向上しそう
・Chimera Painterは指定した生き物の外観を元に肉付けし画像を自動的に作成する機械学習

２．Chimera Painterとは？

以下、ai.googleblog.comより「Using GANs to Create Fantastical Creatures」の意訳です。2020年11月17日、Andeep Singh ToorさんとFred Bertschさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sinitta Leunen on Unsplash

ビデオゲーム用の画像を作成する際には、高度な芸術的創造性と技術的知識が必要ですが、ゲームアーティストは、多くの場合厳しい締め切りに直面して、アイデアをすばやく繰り返して、大量の画像を作成する必要があります。

アーティストが単なる道具としての絵筆ではなく、人間のアシスタントのように振る舞う絵筆を持っていたらどうでしょうか？このような絵筆として機能する機械学習モデルは、選りすぐりの芸術作品を犠牲にすることなく、高品質な芸術を作成するために必要な時間を短縮し、おそらく創造性を高めることができます。

本日、ユーザーが指定した生き物の外観を元に肉付けし画像を自動的に作成する、トレーニング済みの機械学習(ML:Machine Learning)モデルであるChimera Painterを紹介します。

デモアプリケーションに採用されているChimera Painterは、ユーザーが「変換」ボタンをクリックすると、「翼」や「爪」などにラベル付けされた部分に特徴と質感を追加します。以下は、事前にセットされた生き物の外観の1つを使ったデモです。

アーティストは、Chimera Painterにインポートされた画像、または提供されたツールで生成された画像を使用して、生き物の外観を繰り返し構築または変更し、MLモデルを使用してリアルな外観を持つ表面や質感を生成できます。この例では、アーティスト(Lee Dotson)が、Chimera Painterデモに事前に設定されている生き物のデザインの1つをカスタマイズしています。

本投稿では、Chimera Painterの背後にあるMLモデルを開発する際に直面したいくつかの課題について説明し、ビデオゲームに対応した資産を作成するためにツールを使用する方法を示します。

新しいタイプのモデルを試作する
ビデオゲームに対応した生き物画像を生成するMLモデルの開発では、生き物を組み合わせて新しく合成し、互いに戦うというコンセプトに基づいて、デジタルカードゲームの試作品を作成しました。

このゲームでは、プレイヤーは現実世界の動物(例えば、メキシコサンショウウオやクジラ)のカードから始め、それらを組み合わせることで(恐ろしいメキシコサンショウウオとクジラの合成生物を作り)、それらをより強力にすることができます。

これは、画像生成モデルの能力を示すための創造的な環境になりました。画像生成モデルは大量の芸術的資産から合成生物を迅速に設計するために、元の生き物の識別可能な視覚的特徴を保持しながら、それを自然に組み合わせることができます。

私達の目標は、アーティストの入力に基づいて高品質のクリーチャーカード画像を作成することであったため、アーティストのフィードバックに基づいて敵対的生成ネットワーク(GAN:Generative Adversarial Networks)を実験し、ファンタジーカードゲームの試作品に適したクリーチャー画像を作成しました。

GANは、2つの畳み込みニューラルネットワークを相互に組み合わせます。新しい画像を作成するジェネレーターネットワークと、与えられた画像がトレーニングデータセット(この場合はアーティストが作成した本当の画像)なのか、ジェネレーターが合成した画像なのかを識別するディスクリミネーターネットワークです。

条件付きGAN(conditional GAN)と呼ばれる改良版を使用しました。この改良版では、ジェネレーターが別の入力を受け取り、画像生成プロセスをガイドします。興味深いことに、私達のアプローチは、通常はフォトリアリズムに焦点を当てている他のGANの取り組みから厳密に逸脱しています。