AI Artの世界で食っていくための２つの道(3/3)

１．AI Artの世界で食っていくための２つの道(3/3)まとめ

・GANがどんどん高性能化していく中でアーティストが生き抜くためにどのような道があるかの解説
・後半はSNGAN_projectionとCycleGANを用いて具体的にAIアートを作成する方法のレクチャー
・具体的なハードや手法まで親切丁寧に書いておりGAN入門としてもそのまま勉強になる

２．#neuralBricolage：独立系アーティストのための資産不要のAIアートワークガイド

要約
ここ最近、数百万の画像や数百のTPUで訓練されたBigGANや同等の人工知能の出現により、アートを作成する手法の一部にニューラルネットワークを使用していた独立系アーティスト達は、彼らが利用できる計算機資源とデータ量が限られている事に落胆しています。

この投稿では、私は、個人で活動するアーティストに固有のこの予算的時間的制約が、実際には芸術的な創造性を高めるかもしれないと主張し、斬新で魅力的な作品を作り出すようアーティストを鼓舞します。作り出された作品は、#neuralBricolageのテーマによって統合され、人が思いつかないような興味深い作品を形作ります。

テクノロジー業界の技術者達はGANや人工知能分野における新しい進化を日々研究しています。芸術の創作にGAN(敵対的生成ネットワーク)を使っている私のようなアーティストは、自分の創作がいずれ無意味になるかもしれないと感じることがよくあります。全ての美術史を学んだGANが、あらゆるスタイルの画像を高解像度で生成することができるようになる未来が迫ってきています。

そのような状況で、GANの創造的な可能性に魅了されているけれども、低解像度である事に不満を感じている一部の芸術家には、どのような選択肢があるでしょう？

それほど多くはないようです。貴方は自宅のパソコンまたはクラウドサービスを用いて独自のコンピューティング環境を構築し、計算機パワーを競うレースに参加する事ができます。クラウドサービス提供業者の割引やプロモーションを利用して事前に訓練されたモデルとデータセットを動かす事もできます。前者は非常に高価で、後者は学習には適していますが、ユニークなアートワークを制作するにはあまりにも制限があります。第3の選択肢は、これらの制約を貴方の優位性として用いることです。

以下で、私が抱いている美学と、GANから直接画像を生成するために開発してきた技術を共有します。小さな計算機パワーの制約と巨大なデータセットの欠如の中で実現しています。

以下は、ステップバイステップのマニュアルではなく、インスピレーションガイドとして読んでください。

セットアップ
AI アートの練習では、アーティストはGPUサーバ、AI ソフトウェアフレームワーク、およびデータセットが必要となります。私は自身のハードウェア/ソフトウェアの設定を非常に典型的なものと考えています。GTX 1080TI GPU(日本円だと10万円前後です)を1台搭載した自宅のコンピュータ上で、すべてのGANをトレーニングしています。リソースの制約を考慮するということは、特定のGANモデルのみを使用することを意味します。私のケースでは、CycleGANとSNGAN_projectionを使っています。これは両方とも1つのGPUでゼロからトレーニングを行うことができるからです。SNGANを使用すると、256×256までの解像度で画像を生成することができ、CycleGANでさらに高解像度化できます。

データセット
GANを使い始めた当初から、私自身で作成した図面、絵画、写真で構成したデータセットを使用することに専念しました。同じく彼女自身の作品をデータとして使う事にこだわっているAI アーティスト、Anna Ridler氏はECCVの最近の講演で「全ての人が同じデータセットを使って作業しているので、美的表現の幅が狭くなっています」と述べました。私も最近投稿したブログ「Playing a Game of GANstruction」では、データセットの収集と編成に関する私のアプローチを取り上げています。

手法
BigGANタイプ(非常に莫大な計算量を必要とするが高解像度で高品質な作品を生成できるモデル)の人工知能が登場した事の意義は、AI アートコミュニティで広く議論されています。Gene Kogan氏は、最近、「カメラ登場後の絵画のように、AI アートはGANの生成する画像がフォトリアリスティック(写真品質)になるにつれて抽象化に向かうかもしれない」と考察しました。

そして、少なくとも短期的には、AI アートの抽象化への動きは、リソースの制約下で作業せざるを得ない人々にとって不可欠です。

少ないデータセットとGPUが一つしか使えない計算機資源の制約の下で訓練すると、モデルが写実的な画像を生成できるようになる前に崩壊した画像を出力するようになる可能性があります。(性能やデータ不足などが原因でGANの出力が発散してノイズだけになってしまう事)

また、リソースが制限された状況で画像をトレーニング/生成するときには、GANの出力が低解像度になる事に対処する必要があります。絶望することはありません。GANの連鎖とコラージュによる救出！コラージュはピカソからラウシェンバーグ、フランク・ステラまで、伝統的な芸術的技法です。GANアートのために多くの例があります。

GAN出力の生成と後処理をする私のワークフローは、通常、次の手順に従います。

ステップ１
データセットを準備し、SNGAN_projectionをトレーニングします。私がSNGANを使用している理由は、projection discriminatorを使用して、花の絵や静物画など、いくつかの静物クラスの画像を学習させて生成できるからです。ImageNetのように、目立つランドマークや均質なテクスチャを持たない画像データセットを用いると、モデルがImageNetに格納されている画像と同じタイプの画像を必要とするようになると言う興味深い不具合があります。

この不具合は異なるデータクラス間の相互汚染、もしくは興味深い相乗効果をもたらすかもしれません。(データセットをデバッグすることは、AI アーティストにとって素早く必要になるスキルです）。その結果、データセットの構成/分解がAI アート作成プロセス全体の中で最も重要な要素になります。

モデルが出力する画像が完全に崩壊するまで訓練します。私はあらかじめ定義したタイムアウトごとに生成された画像を保存して確認し、興味深い画像が出力された事が確認できるとトレーニングを中止したり、タイムアウトの時間を減らします。

私はGANの普遍的な法則に気付いたので、この作業は非常にイライラする作業になります。というのも、保存間隔をどのような値に設定しても、人工知能は常に最も印象的な画像を保存タイミングを避けて生成するからです。 あなたも注意してください。

ステップ２
画像生成後、いくつかの可能性のある数百の画像を選択します。私はまた、Pythonスクリプトを使って、これらの画像からモザイク画を生成します。「Shelfie Series」や「Latent Scarf」が実際の作品例です。

ステップ３
CycleGANを使用して画像の解像度を上げてください。CycleGANは、画像から画像への変換を行うGANです。すなわち、変換元画像が変換先画像に変換されます。そのため、このステップでは、変換先のデータセットに含まれる画像が変換元画像の周りに表示される事になり、どのような変換が行われるかについて多くの試行錯誤が必要になります。このステップでは、「Stand Clear of the Closing Doors Please」や「Harvest Finale」のように、画像自身の上に画像が構築されているような画像を生み出す事ができます。

ステップ４
SNGANで生成された画像の多くは、目立ったパターンや興味深い色の構図を持つかもしれませんが、独自性と言う意味では十分な内容ではありません。最後のステップは、そのような画像をコラージュの一部として使用することです。私は私がアンカーイメージと呼んでいる高解像度画像(ステップ3の結果、もしくは私がCycleGANで作った作品の幾つかから)を選択します。

私はまた、背景に設定したSNGAN画像とアンカーイメージの類似性、サイズ、位置に基づいてコラージュを生成するOpenCVスクリプト群を開発しました。私の好きな例は「Egon Envy」または「Om」です。

この手法は、一般的にコンセプトアートと同じくらい頻繁に、少し機械的になりすぎる危険性があります。イメージは新鮮さを失い、退屈になる可能性があるため、賢明に適用され、バッサリとまとめるべきです。良いニュースは、新しい可能性の扉を開くことです。私が最近始めた最も刺激的な方向はGANの出力を使用しています。

・クラフト用、特にガラス製のレリーフ用のデザインとして有用です。半抽象化及び、しばしば華やかな色や輝度がやや簡略化されているため、有機的で気取らない品質を示すかもしれません。生成したイメージの多くは、アーツ・アンド・クラフツ運動のムーブメントを連想させます。まだ初期段階なので結果を共有するまでには至っていませんが、経験豊かな陶工やガラスメーカーにこのようなイメージを見せて熱狂的な反応を得ました。

・私が「計算された非写真(computational non-photography)」と呼んでいるものでは、生成した画像をレイヤー化してリミックスして新しい画像を作成します。「Indian Summer」や「Latent Underbrush」はこのテクニックの例です。

結論
貴方が莫大な計算機資源も巨大なデータセットも持っていないという制約を抱えていても、GANはこれらの制約条件で使用すると、GAN自体がまだ不完全で驚くべきものであるため、精緻に掘り下げる価値がある素晴らしいメディアです。GANと同等な効果がInstagramで簡単に実現可能になり、BigGANがPhotoshopのディフォルト機能として利用可能になったら、新しいメディアに切り替えるのがよいでしょう。

(AI Artの世界で食っていくための２つの道(2/3)からの続きです)

３．AI Artの世界で食っていくための２つの道(3/3)感想

少し前にオープンソースとして他人が公開していたプログラムを使って作ったAI アートが5000万円近い価格で落札されたのが話題になりました。出品した人達もこんな高額で落札されてこんな騒ぎになると思っていなかったようで、元のプログラムを公開した人に謝罪したらしいのですが、版画のように作ろうとすれば誰でもほぼ同じものが作れてしまいコピーも容易なAI アートはこれからどのような評価になっていくのでしょうか。少しAI アートの世界に興味を持ったので翻訳してみたのですが、後半はGAN入門としてそのまま参考になる名文でした。

AI アーティストの人達も最先端の技術を知るが故にAIの進化の速さと自身の作品に対する潜在的脅威も身に染みて認識しつつ、それでもAIの可能性に惹かれるという、中々、苦悩が深そうです。

４．AI Artの世界で食っていくための２つの道(3/3)関連リンク

１）www.artnome.com
Helena Sarin: Why Bigger Isn’t Always Better With GANs And AI Art