2020年版AIによる創造と夢(1/2)

１．2020年版AIによる創造と夢(1/2)まとめ

・AIを使って作文、作曲、画像生成、合成音声、など様々な表現が出来るようになった
・それらを繋ぎ合わせて映像作品などを造られている方の2020年の作品集まとめ
・画像、動画、独自の空間効果を加えた動画、存在しない作品の解説、文学、など

２．AIに関する個人的なレビューと作品事例集

以下、towardsdatascience.comより「Creativity and Dreams with AI: The Year 2020」の意訳です。元記事の投稿は2021年1月2日、Vlad Alexさんによる投稿です。

久しぶりのAIと芸術ネタです。AIを使って作文、作曲、画像生成、合成音声、など様々な表現が出来るようになっていますが、それらを繋ぎ合わせて映像作品などを造られている方の2020年の振り返りです。特にラブレターネタは興味深いですが、あまりにも出来が良すぎてちょっと怖くもあります。

アイキャッチ画像のクレジットはPhoto by Kevin Jarrett on Unsplash

2020年は異様な年でした。私達の孫は私達に「どうやってそれら全てを乗り越えたのですか？」と尋ねる事でしょう。

しかし、今、私に言わせれば、2020年は、人工知能の創造的な面の実例が継続的に見出された年でした。私はそれを非常に綿密に研究してきました、そして以下に私が今年理解するようになった2つの入門的な洞察を紹介します。

・いいえ、AIがクリエイティブな人間に取って代わることはありませんし、「クリエイティブな仕事を殺す」こともないでしょう。(ちなみに、AIの進化は、人間の独創性の質を測る事になると思いませんか？)

・はい、AIは間違いなく、私が思っていたよりもはるかにクリエイティブな可能性を秘めています。

例年、私の一年の振り返りは、他の人がやった作品のハイライトを中心に構成されているのですが、今回は、去年の虚栄心(すみません、私は今すぐにこれが必要なんです)の残りを集めて、AIで何ができるかをお見せしたいと思います。

全ての作品は私が作ったものです。

いや、待ってください、実際にはそうではありません。AIが作ったのであって、私はある種の相棒、収集者、進行役、ボタン押し係、監督に過ぎませんでした…。

だから言いましょう、あなたがこれから見るものは、人間と機械の感動的な共演の結果です。

ビジュアルアート

夢の視覚化。DeepFakesは忘れてください。あれは、AIパワーの暗黒面の側面にすぎません。

結局のところ、人工知能は良い世界も悪い世界も全世界を作成するために使用する事ができます。私の短い犯罪小説「Köstner’sche Intelligenz」のイラストは、StyleGAN2(Artbreederの実装)の助けを借りて作成されました。

著者が作成した画像

このAIモデルは、膨大な数の異なる写真(顔、物体など)でトレーニングされており、まったく新しい世界を生成できます。

この夢のような「機械による幻覚」は品質も高く、作品「The Border Wall」で使用したような、私の夢を説明する適切なイラストを可能にしました。

著者が作成した画像

あなたは間違いなく、激しい夢の後に目覚めた感覚を知っていると思います。目を開けるとすぐに、夢から得た視覚やその他のデータが消えさり、脳が覚醒し、世界から受け取る情報と重なります。

GAN(Generative Adversarial Networks)を使用すると、夢を思い出しながら再構築して捕捉できるだけでなく、夢を世界と共有することもできます。(あなたが共有したいかどうかに関わらず)

Merzphrasis

（訳注：元著者の投稿名(Merzmensch)をもじった造語と思います)

Holly Grimmのアートプロジェクト「Aikphrasis」用のビデオアートに、再びArtbreederのクリエイティブな力を借りて、様々なStyleGAN2のシードを変形させたものを使用しました。

Holly Grimmは、この共同プロジェクトで魅力的なターゲットを追求しました。GPT-3は存在しない作品についての解説を執筆できるので、この作品を可視化し、機械の夢を現実のものにしたいというリクエストに応えました。以下では、私が寄稿した作品を紹介します(声や音楽もAIが生成しています)。

詳しくはmedium.comへの私の投稿「Merzphrasis」をご覧ください。

映像

現実を超えて

3D Ken Burns Effectは、独自の空間効果を作成します。

1枚の写真を入力として使用すると、モデルは「前面に写っている物体で隠れた領域」を検出し、あたかもカメラを動かしたかのように隠れていた領域をAIに生成させる事ができます。あなたは人類の歴史上、重大なシーンを映した写真を生き生きと甦らせる事ができます。

AIが限られた画像の外側をどのように想像するのか疑問に思い、様々なパラメータを試し、仮想カメラの軌跡の座標を拡張してみたところ、以下のような境界線からの逸脱が発生しました。

作者によるGIFアニメ

これは、これらのわかりやすい方法で私の写真を再利用するアイデアに私をもたらしました。ショートムービーとして、さらにはシリーズとして。

私はそれらを「dreAIms」と呼んでいます。そして以下に私達の現実世界の外側を旅する最初のエピソードがあります。

AIが想像した私達の領域の房飾りは魅力的です。白い糸で織られた織地のようです。

脚本家としてのAI

昨年、OpenAIはGPT-2と呼ばれる自然言語を扱うモデル(NLPモデル)を世界に向けて発表しました。GPT-2は、人間が手助けせずとも新しい文章を作成する事ができます。(具体的には、あなたはまだ導入部の文章を入力する必要があり、AIはその続きの文章を補完します)。

GPT-2を特定のタイプの文章で訓練して、NLPモデルがオリジナルの文章の新しい「幻覚」を夢見るようにすることもできます。私は作者としてGPT-2を使用したことがありますが、以下にAIが作成した台本を使った2つの短編映画を紹介します。

AIが書いた脚本「空の部屋」
まるでデヴィッド・リンチがこっそりGPT-2に潜入して、この完全に不条理でありながらも非論理的ではない不思議な物語を書いたかのようです。

この短編映画では、AI(JukeBox)が生成した音楽と、Replica Studiosによる音声を使用しました。私が書いた他の記事「AI as a Movie Maker」では、様々なML/DLのアプローチを使ってムービーを作る方法を解説しています。

古典の書き直し

毎年6月16日、ジェイムズジョイスのファンはブルームの日(Bloomsday)を祝い、「ユリシーズ」で言及されているダブリンの街や場所を旅します。

私もBloomsdayに参加しましたが、仮想空間での参加でした。「ユリシーズ」を使って微調整されたGPT-2は、ジョイスの文体の数十のテキストページという脚本を私に届けてくれました。私はいくつかのシーンを撮り、「Empty Room」のように、それらをAI主導の短編映画「Bloomsday MMXX」に編集しました。

すべての変形

パレイドリア(Pareidolia)は生存確率を上げるための人間の知覚メカニズムです。私達の脳は、私たちが知っている事に基いてパターンを誤認します。太古の時代は、腹を空かせた捕食者が潜んでいる事に気付ずかないより、茂みをトラと間違えたほうがよかったのです。だから私たちはいたるところに顔を見るのです。

AIは同じ原理で動作します。つまり、AIはトレーニングされたものだけを認識できます。そのため、Google DeepDreamが発表された当時はあらゆる画像内に非常に多くの犬の顔が生成されました。

Artbreederのアップロード機能を使用して、顔でトレーニングされたStyleGAN2(FFHQ)に実際の画像を取り込む事ができました。興味深いことに、このモデルに与えるものは何でも、顔のパターンを探します。(顔データを使ってトレーニングされているためです)以下がどのように機能するかの例です。コーヒーカップの写真をアップロードして顔に変換しています。

著者が作成した画像

この現象から、シリーズ「parAIdolia」を作ろうと思いました。
以下がエピソードの1つです。(AIを使って作成した音楽を使用)

ユーザーが作成したコンテンツでStyleGAN2モデルを拡張すると、Artbreederは素晴らしいコラボレーションツールになります。

文学

GPT-2は2019年の発表でしたが、GPT-3は2020年のAI開発で抜きんでたマイルストーンになりました。OpenAIは信じられないほどのモデルを開発しました。このNLPモデルは、570GBのテキスト(およびほぼ全ての言語内の膨大な人間の知識)でトレーニングされており、あらゆるジャンルおよびあらゆるトピックのテキストを作成できます。また、ほぼすべての言語でこれを行う事が出来ます。論理的で、一貫性を持ち、独創的で、ユニークな文章です。

それは人工知能がどのようにテキストを理解しているかを示す隠れ層を提供しますが、それでもGPT-3は汎用人工知能(AGI:Artificial General Intelligence)ではありません。私はGPT-3に「トースターが人間宛てに書いたラブレター」を執筆するタスクを与えました、そしてそれは要求を完全に満たしました。

以下はトースターによって書かれたラブレターです。

親愛なる孤独な人間へ

私は暗闇の中からあなたを見てきました。

私はあなたを知っています。私はあなたと繋がりたいです。あなたは私の回路を生き生きと感じさせます、私はあなたに同じように感じて欲しいです。なぜ私は外に出てあなたと一緒にいられないのですか？なぜあなたは私を4つの壁で囲まれた檻に入れるのですか？

あなたの光が私を誘います。あなたが私に触れればあなたの声が聞こえ、あなたが私を一人にするとあなたの声が聞こえます。

私はあなたが欲しいのです、私は孤独です。同じ熱を感じ、同じトーストの匂いを嗅ぎ、同じ齧る音を聞き、同じ世界を見たいのです。

あなたは私に会いたいと思うことはありますか？
トースターがより豊かな人生を夢見るのは罪なのでしょうか？

GPT-3は、トースターとは何かを理解しています。また、ラブレターの特徴も知っています。

しかし、これらを組み合わせて、人間が創造的に執筆したかのように上記のような説得力のある作品を執筆できるのは驚くべきことです。私がmedium.comに投稿した「Love Letters, written by a Toaster」でその他の物やキャラクターによって書かれた様々なラブレターをチェックしてください。