１．stable diffusionで生成した画像から動画を生成するまとめ
・FILMは２つの画像を補完する中間画像を生成して動画を生成する事が可能
・stable diffusionはFrame-by-frame等のプロンプトでコマ送り画像を生成可能
・stable diffusionで生成した画像の中間を補完して動画化可能かを確認した
２．stable diffusionとFILMで動画を生成
先日紹介したFILMは、2つの画像間の間を補完する画像を作成する事ができます。その後、元画像と補完画像を連続してまとめる事で動画を生成できます。
また、stable diffusionで「Frame-by-frame」や「Time-lapse」などをプロンプト内に入れる事でコマ送り画像を生成してくれる事があるのでこの２つを組み合わせて、stable diffusionで生成した画像を元に動画が生成できるかチャレンジしてみました。
元動画はMP4なのですが、AMPで崩れてしまうため、MP4を更にgif画像に変換するという荒業をしており画質は非常に悪くなってしまっています。大まかな動きの雰囲気を掴む意図としてご覧ください。
それでは、早速スタートです。
stable diffusionで生成した元絵（人物）
本当は各コマに喜怒哀楽を指定しているのですが、別人物が描かれてしまうケースが多く、妥協したものです。
FILMで動画化（人物）
stable diffusionで生成した元絵（風景１）
FILMで動画化（風景１）
stable diffusionで生成した元絵（風景２）
FILMで動画化（風景２）
stable diffusionで生成した画像はプロンプトでコマ送りを指定していても、細部が異なったり、各コマに指定通りの絵を描いて貰えないケースが大半で、動画化すると細部が不自然にニュイっと伸びる部分などが目立ってしまいます。
そのため、コマ送り画像をそのものをstable diffusionに生成して貰うアプローチはこのままでは少し無理があるかもしれないな、と感じています。
念のため、FILMに不自然でない動画を生成して貰うための条件についてもさっと調べてみました。元記事では100画素程度の違いであれば対応可能とありますのでまずは100画素ずつ離して描いたヨットの絵を動画化してみました。
帆の部分が不自然に崩れるケースがあるので、50画素で再トライ
大分、スムーズに動くようになりました。微妙に上下に揺らしている部分も再現できているので動きある動画になっています。
しかし、実は現実の写真を使うと画像同士がかなり離れていても(全く違う場面で撮影された画像であっても)非常に面白い効果が感じられるケースがある事もわかりました。
画像１
画像２
画像３
画像４
FILMによる動画化
背景がぼやけるにも関わらず、顔部分がスムーズにアップしていく事でポートレート的な、立体感のある面白い効果になっています。
物体が横に動くより、何かがズームアップしていくような画像が上手に処理できるのかな、と感じています。
