Waifu Diffusion 1.5 Beta 3を使ってLoRAとReference-only ControlNetを比較

１．Waifu Diffusion 1.5 Beta 3を使ってLoRAとReference-only ControlNetを比較まとめ

・Waifu Diffusion 1.5 Beta3としてBase, Radiance, Ink, Mofu, Illusionの５つのモデルが公開されてHugging Faceよりダウンロード可能に
・Waifu Diffusion 1.5はStable Diffusion 2.1ベースのモデルであるがReference-only ControlNetは利用できるのでLoraと比較してみた
・各モデルに、LoRAの重み、ControlNetのバランス、プロンプトの重み、更にWDシリーズの特徴でもあるタグを使うと非常に柔軟なスタイル構成が可能

２．Waifu Diffusion 1.5 Beta 3とは？

アイキャッチ画像は有名な親指を立てたポーズを真似ようとして今一歩届かず、時間切れとなかったイラスト。やっぱり、原作のあの微妙な表情は凄いです。

Waifu Diffusionは二次元イラストに定評がある老舗モデルで、一昨日、Beta 3が発表されました。

なんと一挙に５モデル。Waifu Diffusion 1.5 Beta3 Base, Waifu Diffusion 1.5 Radiance, Waifu Diffusion 1.5 Ink, Waifu Diffusion 1.5 Mofu, Waifu Diffusion 1.5 Illusionです。

Baseモデルは微調整用途のモデルという事ですが、以下でわかるように４モデルで画風がかなり異なります。

Base

Radiance

Ink

Mofu

Illusion

ディフォルトの推奨プロンプト「(exceptional, best aesthetic, new, newest, best quality, masterpiece, extremely detailed, anime, waifu:1.2)」
ディフォルトの推奨ネガティブプロンプト「lowres, ((bad anatomy)), ((bad hands)), missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts)), deleted, old, oldest, ((censored)), ((bad aesthetic)), (mosaic censoring, bar censor, blur censor)」
に「nausicaa, hayao miyazaki,1girl」を加えて出力した結果。髪の色の赤と服の色の青からWaifu Diffusionはナウシカと言う概念を最初から知っているように見えます。

そして、BaseモデルでLoRAを学習させ、各モデルに適用した結果が以下です。

Base

Radiance

Ink

Mofu

Illusion

さて、本題です。Waifu Diffusion 1.5はStable Diffusion 2.1ベースのモデルであるため、Stable Diffusion 1.5ベースのモデルを使った拡張機能、例えばControlNet等は有志が対応版を作成してくれるまで使用できないケースがありました。しかし、先日紹介したReference-only ControlNetは参照用画像を直接モデルに適用するので何とStable Diffusion 2.1ベースのモデルにもそのまま使えるのです。

そして、ちょうど、LoRAとReference-only ControlNetの比較も気になっていた所なので、以下で各モデルについて「LoRA単独」、「Reference-only ControlNet単独」、「LoRA＋Reference-only ControlNet」を比較してみようというのが今回のお題です。

Waifu Diffusion 1.5 RadianceのControlNetとLora

ControlNetに与えた参照画像	Waifu Diffusion 1.5 Radiance LoRA only
reference_only	adain	adain_attan
reference_only + LoRA	adain + LoRA	adain_attan + LoRA

Waifu Diffusion 1.5 InkのControlNetとLora

ControlNetに与えた参照画像	Waifu Diffusion 1.5 Ink LoRA only
reference_only	adain	adain_attan
reference_only + LoRA	adain + LoRA	adain_attan + LoRA

Waifu Diffusion 1.5 MofuのControlNetとLora

ControlNetに与えた参照画像	Waifu Diffusion 1.5 Mofu LoRA only
reference_only	adain	adain_attan
reference_only + LoRA	adain + LoRA	adain_attan + LoRA

Waifu Diffusion 1.5 IllusionのControlNetとLora

ControlNetに与えた参照画像	Waifu Diffusion 1.5 Illusion LoRA only
reference_only	adain	adain_attan
reference_only + LoRA	adain + LoRA	adain_attan + LoRA

ControlNetとLoRAの比較まとめ

・各ControlNetではディフォルトに加えて1girlのみプロンプトに加えています。つまり「nausicaa, hayao miyazaki,1girl」は指定していません。
・ControlNet adainはあまり効いてないようにも見えますがControlNet v1.1.173での結果です。
・今回、LoRAの重視度を少し強めすぎた気がしてますが、Waifu Diffusionが元からナウシカを知っている事もあり、明確にしておきたかった経緯です。
・ControlNet Rederence only はどのケースでもポーズをちゃんと捉えてくれているので、Stable Diffusion2.1系列のモデルにとっても使い勝手が良いです
・各モデルに、LoRAの重み、ControlNetのバランス、プロンプトの重み、更にWDシリーズの特徴でもある以下のタグを使うと非常に柔軟なスタイル構成ができます。

年代指定用タグ

タグ	イラストが投稿された年代
oldest	1995 – 2010
old	2010-2015
new	2015-2020
newest	2020 –

aestheticスコア指定用タグ

タグ	aestheticスコア
exceptional	≥ 6.675
best aesthetic	≥ 6
normal aesthetic	≥ 5
bad aesthetic	< 5

Booru sitesスコア指定用タグ

タグ	Booru sitesスコア
masterpiece	≥ 150
best quality	≥ 100
high quality	≥ 75
medium quality	≥ 25
normal quality	≥ 0
low quality	< 0
worst quality	< -5

追加タグ

タグ	タグの意味
deleted	Booru サイトで削除済みとしてマークされた画像。
waifu	「ワイフ」の概念を体現する、現実世界またはアニメの女性に特化した画像
real life	現実世界の題材を描いた画像。
anime	アニメの題材を描いた画像。
instagram	インスタグラムから引用した画像

を使いこなすと、新しめのスタイルと古めのスタイルで、アニメスタイルからリアルスタイルに徐々に変えて好みのスタイルを探す事などもできます、Waifu Diffusionすごい！

Waifu Diffusion 1.5 Beta 3のインストール方法

以下、AUTOMATIC1111用の説明です。

（１）モデルのダウンロード
「　https://huggingface.co/waifu-diffusion/wd-1-5-beta3/tree/main　」より、
wd-illusion-fp16.safetensors, wd-ink-fp16.safetensors, wd-mofu-fp16.safetensors, wd-radiance-fp16.safetensorsの４モデルをダウンロードして、models/StableDiffusionフォルダに格納

（２）設定ファイル(yaml)のダウンロード
beta3のフォルダにはないので以下のbeta2内のフォルダからwd-1-5-beta2-fp16.yamlをダウンロードしてmodels/StableDiffusionフォルダに同名で格納(つまり、wd-illusion-fp16.yaml, wd-ink-fp16.yaml, wd-mofu-fp16.yaml, wd-radiance-fp16yamlというファイルを作る)
「　waifu-diffusion/wd-1-5-beta2　」

（３）VAEのダウンロード
beta3のフォルダにはないのでwaifu-diffusion-v1-4内のフォルダからkl-f8-anime2.ckptをダウンロードしてmodels/StableDiffusionフォルダに同名＋拡張子.ptで格納(つまり、wd-illusion-fp16.pt, wd-ink-fp16.pt, wd-mofu-fp16.pt, wd-radiance-fp16.ptというファイルを作る)
「　hakurei / waifu-diffusion-v1-4　」

（３）はAUTOMATIC1111の設定にもよるのでSettingタブで「Ignore selected VAE for stable diffusion checkpoints that have their own .vae.pt next to them」にチェックが付いている事を要確認です。