infinite zoom outとzoom in:stable diffusionで作成したイラストを無限にズームして動画を作成

１．infinite zoom outとzoom in:stable diffusionで作成したイラストを無限にズームして動画を作成まとめ

・stable diffusionで画面の奥に向かってひたすらカメラが進む or 引いていく動画を作成するスクリプトが公開されている
・colabも公開されているので動かす事は容易だが、stable diffusion-2 inpaintingモデルが前提のためカスタマイズ今年
・動画内のスタイルや人物を安定させるのは難しいがAIの潜在意識を泳いでいるような世界観の動画を作成できる

２．infinite zoom outとzoom inとは？

アイキャッチ画像はinfinite zoom outとinで生成した動画からの切り取り

「無限にズームして動画化する」と、言葉で書くとよくわかりませんが、おそらく、皆さんもどこかで見たことがあるタイプの動画ではないかな、と思います。

画面の奥に向かってひたすらカメラが進んでいく、もしくは引いていくように見えるので静止画に動きを与える事ができるテクニックです。

注意：動画サイズ(50MBくらい)を5MB以下に小さくするため解像度を512から256に圧縮しており、スムーズさや綺麗さがだいぶ犠牲になっています。本来はもっとスムーズです。以下、全ての動画が同様にスムーズさがだいぶ犠牲になっています。

一か月くらい前に上記のズームアウトしていくinfinite zoom outの方が公開されました。作者はgoogle ai tokyoからstability.aiに行ったhardmaruさんです。google時代は強化学習関連の投稿をgoogle aiブログにも投稿されていたのでwebbigdataでも何度か意訳した事があります。

そして一週間くらい前にBalintKomjatiさんがズームインバージョンのinfinite zoom inとcolabを公開してくれました。実装はdiffusersで、現時点ではまだAUTOMATIC1111に移植はされてないと思います。

colabも公開されているので動かす事は割と簡単にできます。余談ですが、colabに苦手意識ある方は「イラスト生成ＡＩを動かしたい人向けのColabの解説」を読んで是非とも慣れてください。

しかし、カスタムモデルで動かそうとするとちょっと難しく、まだ私は完全に動かし方の手順も整理できておらず、使いこなせているとは言い難い状態です。理由は、内部で使っているモデルがstable diffusion-2 inpaintingといって、インペインティング用のモデルであるためです。

stable diffusion-2 inpaintingはstable diffusion 2.0 baseを更に微調整したもので、インペインティング用に動かす事はありますが、現在はstable diffusion 2.1 or 1.5が主流なので、あまりカスタマイズ対象にする事がない馴染みのないモデルです。

2.1ベースのカスタムモデルに無理やり適用するとなんかちょっと変ですが以下です。