Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説

１．Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説まとめ

・Waifu Diffusion 1.4 Animeを使いたい人向けにダウンロードやインストール方法の解説
・spaces、diffusers、AUTOMATIC1111での導入方法を図解付きで解説
・品質修飾子という新しい品質指定方法があるので画像品質を明示的に制御可能になった

２．Waifu Diffusion 1.4 Animeのプロンプトの新機能

昨日はWaifu Diffusion 1.4 Animeを使って様々な画像を生成してみましたが、あのページだけでは単に使ってみましたと言うだけなので、もう少し入門者向けの解説もあった方が好ましいのであろうと思ったので、本日はWaifu Diffusion 1.4 Animeの特徴や簡単な使い方の解説記事です。

Waifu DiffusionはStable Diffusionをアニメ系のイラストを主に使って元に微調整(native finetune)をしたモデルで、WDと略されている事が良くあります。初期の頃から存在するため、InvokeAI等のツールやサービスでもディフォルトで選択可能なモデルの一つになっている事が多いです。そのWaifu Diffusionの2023年1月1日に公開された最新版がWaifu Diffusion 1.4 Animeです。

Waifu Diffusion 1.4 Animeのプロンプトの特徴

Waifu Diffusion 1.4では修飾子をプロンプト内に入れる事で明示的に画像品質を制御できるようになっています。

また、職場閲覧注意画像の生成についても以下の等級修飾子が導入されています。

では、具体的にどの程度、品質修飾子の影響があるかをシンプルなプロンプトでチェックしたのが以下の画像です。

masterpiece

ナウシカ	テト	ロボ

best quality

ナウシカ	テト	ロボ

high quality

ナウシカ	テト	ロボ

medium quality

ナウシカ	テト	ロボ

low quality

ナウシカ	テト	ロボ

worst quality

ナウシカ	テト	ロボ

生成回数はほぼ一回のみで見栄えの良い画像を選ぶと言う事はしていません。これらの３概念は持ち込んだものですが、うーん、凄い効いてきますね。個人的にはmedium qualityまでだったらありな気もしています。

Waifu Diffusion 1.4 Animeのダウンロード/インストール方法

「これからイラスト生成ＡＩを始めてみたい方向けの入門記事」で紹介した４つの動かし方に基づいて解説すると以下です。

spacesでとりあえず動かしてみたい人

やや混雑していますが、以下でブラウザから動かす事が可能です。

Waifu Diffusion Demo

Colabで動かしてみたい人

Colabの仕様変更の影響か、huggingfaceページに張ってある公式Colabは動かなくなってしまっているようでした。2023年1月追記)無料版ColabでWaifu Diffusion 1.4 Animeを動かすためのシンプルなColabの公開をしました。

diffusersを使っている人

diffusersのセットアップが既に出来ていればmodel_idに’hakurei/waifu-diffusion’を指定するだけで行けるはずです。

ただし、diffusersのVersionが新しいと公式サイト内に張られているサンプルスクリプトを実行すると「KeyError: ‘sample’」と言うエラーが出るはずなので、その場合、ファイル保存の部分を以下のように直すと動かせるはずです。

import torch
from torch import autocast
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
  'hakurei/waifu-diffusion',
  torch_dtype=torch.float32
).to('cuda')
prompt = "1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt"
with autocast("cuda"):
  image = pipe(prompt, guidance_scale=6).images[0]

image.save("test.png")

AUTOMATIC1111を使っている人

AUTOMATIC1111のセットアップが既に出来ている事が前提ですが、セットアップ済であればダウンロードが必要なファイルは以下の２つです。

wd-1-4-anime_e1.yaml
wd-1-4-anime_e1.ckpt
（2023年2月更新：学習ステップを更に進めて性能が向上したチェックポイントwd-1-4-anime_e2.ckptが新たに公開されています。そのため、以下の文章はwd-1-4-anime_e1.ckptをwd-1-4-anime_e2.ckptに差し替えて読んでください。また、wd-1-4-anime_e1.yamlは変更なくそのまま使用できますが、wd-1-4-anime_e2.yamlと名前を変更して保存するようにしてください)

これを https://huggingface.co/hakurei/waifu-diffusion-v1-4 からgit lfsなどを使ってダウンロードし、stable-diffusion-webui/models/Stable-diffusion以下に保存すればAUTOMATIC1111の左上のモデル選択部分から選べるようになります。

「git？よくわからないから嫌い！」と言う人でも以下の手順で手動でダウンロードすれば動かす事が出来ます。

（１）wd-1-4-anime_e1.ckpt

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/wd-1-4-anime_e1.ckpt に行きます。

上の画像の赤枠の「download」と書かれている部分を押してダウンロードします。 5GBくらいの巨大サイズなので場合によってはダウンロードに失敗するかもしれないので、ダウンロード後にサイズを確認してください。

（２）wd-1-4-anime_e1.yaml

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/wd-1-4-anime_e1.yaml に行きます。

赤い枠部分をマウスでグーっと最下部の68行目までスクロールしてコピーし、メモ帳などにペーストして「wd-1-4-anime_e1.yaml」と言う名前で保存します。拡張子がちゃんと「.yaml」になっている事を確認してください。アイコンがテキストファイルのアイコンと同じだったら拡張子がおそらく「.yaml.txt」になってしまっているはずなので、拡張子の変更の仕方をGoogle検索して確認し、「wd-1-4-anime_e1.yaml」と言う名前にしてください。ブラウザからダウンロードするとHTMLとして保存されてしまって中身が壊れてしまうケースが多いので上記のようにコピペ貼り付ける事を推奨します。

２つのファイルがダウンロードできたら、stable-diffusion-webui/models/Stable-diffusion以下にコピーし、AUTOMATIC1111起動後に左上のドロップダウンメニューより選択すれば起動する事が出来ます。

Waifu Diffusion 1.4 Animeの参照プロンプト

初心者の方が上記手順でWaifu Diffusion 1.4を動かすことが出来たとしても、おそらく思ったようなイラストは中々、生成する事が出来ないと思います。

Waifu Diffusion 1.4やProtoGenなどの最近のモデルは、プロンプトの使い方に少し癖があって、プロンプト入門を読んでゼロから自分で呪文を組み立てるアプローチはちょっと厳しいように感じています。

そのため、公式リリースノートgist.github.com内にある以下のプロンプトなどをベースに少しずつ変更していく形で生成していくと段々と綺麗なイラストが生成できるようになっていくのではないかと思います。

prompt: masterpiece, best quality, 1girl, black eyes, black hair, black sweater, blue background, bob cut, closed mouth, glasses, medium hair, red-framed eyewear, simple background, solo, sweater, upper body, wide-eyed
negative prompt:  worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

prompt: masterpiece, best quality, high quality, scenery, japanese shrine, no humans, absurdres
negative prompt: worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

３．Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説関連リンク

１）gist.github.com
harubaru/wd1-4-anime-release.md

２）huggingface.co
hakurei/waifu-diffusion-v1-4