Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能

１．Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能まとめ

・まだ完全に学習が終わってないベータ版だがWaifu Diffusion 1.5が2月14日に公開されて画像生成や微調整ができるようになった
・stable-diffusion 2.1をベースにイラストに加えて実写系、人物以外も含む見栄えのよい画像も使ってトレーニングされている
・修飾子として「イラスト投稿年代」が追加されており「昔風の絵柄」や「今風の絵柄」が意識的に選べるようになった事も特徴

２．Waifu Diffusion 1.5(ベータ)とは？

アイキャッチ画像はstable diffusionを厳選した画像と様々な修飾子で微調整して実世界画像にも対応した2023年2月14日公開のWaifu Diffusion 1.5 BetaにDreambooth拡張で取り込んだナウシカとトリウマで日付範囲修飾子を2015年以降に指定して作成した今風の絵柄のナウシカ。

2023年3月6日追記)Waifu Diffusion 1.5 Beta2、及びWaifu Diffusion 1.5 Beta2-extraが公開されています。

まだ完全に学習が終わってないベータ版との事ですが、Waifu Diffusion 1.5 Beta1が2月14日に公開されました。

イラストに特化していたWaifu Diffusion 1.4と異なり、Waifu Diffusion 1.５はstable-diffusion 2.1(768版)をベースにイラストに加えて実写系、人物以外も含む見栄えのよい画像も使ってトレーニングされており、修飾子として「イラストが投稿された年代」も追加されています。そのため「昔風の絵柄」や「今風の絵柄」が選べるようになっている事が特徴です。

単純にイラストを生成するだけならば完全に学習が終わってからの方が良いのですが、DreamBoothなとで微調整する場合はある程度遊びがある方が上手くいきそうなので、早速、Dreamboothしてみました。

しかし、今回、目算でギリギリ足りる計算であったColab proのコンピューティングユニットがまだちょっと残っているのに最終チェックポイント保存直前で強制終了されてしまいました。ゆえに、Waifu Diffusion 1.5もBeta、微調整もやや中途半端というベストの状態ではないのですが、修飾子の傾向はそれなりに出せて綺麗に見えるので、以下、早速見てみましょう。

日付範囲修飾子

公式サイトによれば、日付範囲修飾子の定義は以下です。

タグ	イラストが投稿された年代
oldest	1995 – 2010
old	2010-2015
new	2015-2020
newest	2020 –

そもそも風の谷のナウシカの映画公開年は1984年なので、oldestより更に古い時代なわけですが、実は映画が公開された時点ではまだ原作漫画は連載終了してなかったんですね。原作漫画が連載終了したのは1994年(平成6年)です。そう、実は風の谷のナウシカは昭和ではなく平成時代の漫画だったのです。

連載期間は12年に及ぶのですが、まぁ、

1986「天空の城ラピュタ」公開
1988「となりのトトロ」「火垂るの墓」公開
1989「魔女の宅急便」公開
1991「おもひでぽろぽろ」公開
1992「紅の豚」公開

と、映画の製作期間に入る度、長期連載休載していました。話がだいぶ脱線しましたが、漫画原作で考えてもナウシカはギリギリoldestに入らない状況ですが、それでは日付範囲修飾子の効果を見てみましょう。

プロンプトは公式のサンプルをほぼそのままで、newest, oldest, new, oldだけを入れ替えています。wdgoodpromptとwdbadpromptはWaifu Diffusion 1.5と同時にリリースされたembeddingsです。

prompt
, <TARGET>, hayao miyazaki, wdgoodprompt, (symmetric), (exceptional, best aesthetic, newest, best quality, masterpiece, extremely detailed, anime:1.2)

negative prompt
lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts)), deleted, oldest, new, old, ((censored)), ((bad aesthetic)), (mosaic censoring, bar censor, blur censor), NSFW, wdbadprompt

ナウシカ（人物）

oldest(1995 – 2010)

Waifu Diffusion 1.5、全体的に絵柄がソフトで綺麗です。そして、作品自体の年代に近いという事もあるのかもしれませんが、正直、私はoldestの絵柄が一番好みです。しかし、newestに比べると、確かに「古い漫画感」がある気はします。この時代に連載がスタートした漫画はHUNTER x HUNTER、あずまんが大王、鋼の錬金術師、などがあります。

old(2010 – 2015)

顔の印影が少し薄くなった感じでしょうか。この時代に連載がスタートした漫画は銀の匙、ハイキュー！！、ゴールデンカムイ、などがあります。

new(2015-2020)

あまりうまく言語化できてませんが、ふわっと感が出てきてますよね。この時代に連載がスタートした漫画は鬼滅の刃、五等分の花嫁、SPY×FAMILYなどがあります。

newest(2020 – )

oldestと比べると、newestは今風に見えます。この時代の漫画はまだ連載がスタートしたばかりでどの漫画が人気作と呼ばれるようになるのかわかりませんが、Web漫画から人気が出るパターンが多くなってきているように見えます。

テト・トリウマ・ロボ（その他）

絵柄の変化等は私にはちょっと上手く言語化できませんが、特にロボがわかりやすいのですが、段々とスマートになっているように見えます。

oldest(1995 – 2010)

old(2010 – 2015)

new(2015-2020)

newest(2020 – )

その他の留意事項や余談など

・バージョンが古いAUTOMATIC1111を使っているとどんなプロンプトを入れても真っ黒な画像しか生成されない事があるようです。その場合、git pullコマンド等で古いAUTOMATIC1111をVersionアップしましょう。

・Waifu Diffusion 1.5 Beta1を動かしてみたい人は「Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説」や「AUTOMATIC1111を自分のWindows 10パソコンにインストール/セットアップする手順」を参考に、ファイル名等を適宜読み替えてチャレンジしてみてください。基本的には「https://huggingface.co/waifu-diffusion/wd-1-5-beta/tree/main/checkpoints」にある「wd15-beta1-fp16.safetensors」と「wd15-beta1-fp16.yaml」をmodels配下にコピーし、waifu-diffusion-v1-4ページ内にある「kl-f8-anime2.ckpt」をVAEフォルダ以下に「wd15-beta1-fp16.pt」と言う名前でコピーし、左上のモデル選択メニューから選択すれば動かせます。

・Waifu Diffusion 1.5 Beta2は通常版とAesthetic版の2バージョン、及びbeta2-extraが公開されています。Aesthetic版はより厳選した画像で微調整したモデルです。Frosty Aesthetic版は厳選したリアル系画像で微調整したモデルです。Waifu Diffusion 1.5 Beta2 Aesthetic版を動かしてみたい場合は「https://huggingface.co/waifu-diffusion/wd-1-5-beta2/tree/main/checkpoints」にある「wd-1-5-beta2-aesthetic-fp16.safetensors」と「wd-1-5-beta2-aesthetic-fp16.yaml」をmodels配下にコピーし、左上のモデル選択メニューから選択すれば動かせます。同様にbeta2-extraのFrosty Aesthetic版を動かしてみたい場合は「https://huggingface.co/waifu-diffusion/wd-1-5-beta2-extra/tree/main」から「wd15-beta2-frosty-aesthetic-fp32.safetensors」とwd-1-5-beta2のページから「wd-1-5-beta2-aesthetic-fp32.yaml」をダウンロードし、VAEもBeta1と同じものをコピーする事で動かせます。

・Waifu Diffusion 1.5 Beta(stable-diffusion 2.1 768版の系譜モデルは全てかもしれません)のDreamBoothは難しいです。整理して作業をしていたわけではないので何が有効であったのか文書化出来ておらず申し訳ないのですが「良く分からないエラーメッセージに何回か遭遇しましたが、頑張って色々ゴチャゴチャやってどうにか動かせました」というレベルなので挑戦する場合はBetaが取れて諸々落ち着いて情報が出そろってきてからの方が良いかもしれません。

・Waifu DiffusionプロジェクトはWaifu Diffusion 1.5の後にchatGPTのオープンソース版に挑戦する計画があるとの事。寄付ベースだけでそこまでやれてしまうのは本当に凄いですね。