Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)

１．Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)まとめ

・知覚損失(perceptual loss)を使ってChimera Painter用のGANの重み調整
・これらの重みは最終的に生成された画像の見栄えの決定に非常に重要
・特定の値は生成された生き物をよりリアルに感じさせたり滑らかに貢献

２．Chimera Painterのサンプル

以下、ai.googleblog.comより「Using GANs to Create Fantastical Creatures」の意訳です。2020年11月17日、Andeep Singh ToorさんとFred Bertschさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sinitta Leunen on Unsplash

微調整
GANには、調整可能な様々なハイパーパラメータがあり、出力画像の品質が異なります。モデルのどのバージョンが他のバージョンよりも優れているかをよりよく理解するために、アーティストはこれらのモデルによって生成された様々な生き物タイプのサンプルを提供され、いくつかの最良のサンプルを選別するように求められました。

これらのサンプルに存在する、奥行き感、生き物の質感に関するスタイル、顔や目のリアリズムなど、望ましい特性に関するフィードバックを収集しました。この情報は、モデルの新しいバージョンをトレーニングするためと、モデルが数十万の生き物画像を生成した後、各生き物カテゴリ(ガゼル、オオヤマネコ、ゴリラなど)から最適な画像を選択するための両方に使用されました。

知覚損失(perceptual loss)に焦点を当てることにより、このタスクのためにGANを調整しました。この損失関数(StadiaがStyle Transfer MLでも使用)は、ImageNetデータセットからの数百万枚の写真で以前にトレーニングされた別の畳み込みニューラルネットワーク(CNN)から抽出された特徴を使用して、2つの画像間の差を計算します。

特徴表現はCNNの様々なレイヤーから抽出され、それぞれに重みが適用されます。これは、最終的な損失値への寄与に影響します。これらの重みは、最終的に生成された画像がどのように見えるかを決定する上で非常に重要であることがわかりました。以下は、様々な知覚損失の重みでトレーニングされたGANの例です。

様々な知覚損失の重みを使用して生成された恐竜-蝙蝠の合成生物

上記の画像にバリエーションがある理由は、データセットに各クリーチャーの複数のテクスチャが含まれているためです。(例えば、コウモリの赤みがかったバージョンまたは灰色がかったバージョン)。ただし、色付けを無視すると、多くの差異は知覚損失値の変化に直接関係しています。

特に、特定の値は、生成された生き物をよりリアルに感じさせる、よりシャープな顔の特徴(例えば、右下と右上)または「滑らか」と「パターン化」(右上と左下)をもたらすことがわかりました。

以下は、様々な知覚損失の重みでトレーニングされたGANから生成されたいくつかの生き物であり、モデルが処理できる出力とポーズの小さなサンプルを示しています。

様々なモデルを使用して生成された生き物

条件付きGANを使用して作成された、合成生物(正確には、恐竜-蝙蝠-ハイエナ)。GAN(左)と後処理でカード化(右)した出力

Chimera Painter
トレーニング済みGANを使ったChimera Painterのデモを利用できるようになりました。これにより、アーティストは、似たような数十のクリーチャーを最初から描画するのではなく、モデルを繰り返し操作する事で対応できます。アーティストは、開始点を選択してから、生き物パーツの形状、タイプ、または配置を調整できるため、迅速な探索と大量の画像の作成が可能になります。

デモでは、Photoshopなどの外部プログラムで作成された生き物の外観をアップロードすることもできます。事前セットされた生き物のアウトラインの1つをダウンロードして、各クリーチャーパーツに必要な色を取得し、これをChimera Painterの外側に描画するためのテンプレートとして使用します。次に、デモの[ロード]ボタンを使用して、このアウトラインを使用して具現化します。

これらのGANモデルとChimeraPainterデモンストレーションツールが、他の人の芸術作成時の流れ作業について異なる考え方をさせるきっかけになることを願っています。機械学習を絵筆として使用すると、何ができるでしょうか？

謝辞
このプロジェクトは多くの人々と協力して実施されています。Ryan Poplin, Lee Dotson, Trung Le, Monica Dinculescu, Marc Destefano, Aaron Cammarata, Maggie Oh, Richard Wu, Ji Hun Kim, Erin Hoffman-John, 及び Colin Boswellに感謝します。

何時間ものアートディレクション、技術的なフィードバック、素晴らしい生き物の絵を提供してくれた全ての人に感謝します。