Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能

１．Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能まとめ

・Waifu Diffusionではシンプルな指定で画像の詳細を指定する事が可能
・Waifu DiffusionにDreamBoothを加える事でキャラクターの属性を操作可能
・自分の好きなキャラクターにセーラー服やチャイナドレスを着て貰う事も可能

２．モデルによってプロンプトの効きがかなり違う

アイキャッチ画像はStable Diffusionの微調整モデルであるWaifu Diffusion 1.3にDreamBooth拡張を加えたモデルによる生成で西遊記に出張したチャイナ服の風の谷のナウシカと学園ドラマに出張したセーラー服の風の谷のナウシカ
2023年1月1日追記)最新モデルのWaifu Diffusion 1.4 Animeが公開されています。

一番最初(2022年8月末頃)にStable Diffusionを使った時はスタジオジブリの「風の谷のナウシカ」と言う概念をStable Diffusionに上手く伝える事ができず意図した画像を生成できませんでした。そのため「赤い髪でショートヘアで青い服を着た若い女性」といういわば、キャラクターの属性をシンプルな言葉で指示するアプローチを使いました。

それでもあまり良い画像が出来なかったため、ジブリっぽいスタイルと既存のスタイルを融合させるアプローチを取り、印象的な画像を生成する事は出来ましたが、これが「風の谷のナウシカか？」と言われると希望するレベルには届いていなかったと思います。

その後(2022年9月末頃)、textual inversionとDreamBoothのStableDiffusion実装が発表され、これにより「風の谷のナウシカ」と言う概念を取り込んでStable Diffusionに画像を生成して貰う事が出来るようになりました。一通りの満足感はありますが、それでもまだ既存の強い概念と組み合わせる事が上手くいかない時がありました。

今回、Stable Diffusionの微調整モデルであるWaifu Diffusion 1.3にDreamBooth拡張を加えて、この限界を突破できないかを探ってみたのですが、正直、Waifu Diffusion 1.3のプロンプトの効きが良すぎて、最初のアプローチ、すなわち「赤い髪でショートヘアで赤いイヤリングをした青い服を着た若い女性」で、ナウシカっぽい画像が量産出来てしまうので、DreamBooth拡張がどこまで有効なのか、画像見すぎて良くわからなくなってきてますが、御託はここまでにして、以下、お楽しみください。

Waifu Diffusion 1.3単体

以下はDreamBoothで取り込んだnausicaを指定していません。つまり単なる「赤い髪でショートヘアで赤いイヤリングをした青い服を着た若い女性」です。しかし、そこそこ、ナウシカっぽい画像が出来てしまいます。どれもSNSで「ナウシカ描いてみました」とアップしてくれた方がいたら私が喜んでイイネを押すレベルの画像です。(タップで拡大します)

Waifu Diffusion 1.3＋DreamBooth

DreamBoothで取り込んだnausicaを指定した版です。敢えて書くなら表情の部分などでDreamBooth拡張が効いている気はしますが、画像を見すぎたため、良くわからなくなり、Waifu Diffusion 1.3単体で十分な気もしてきました。

風の谷のナウシカ学園ドラマ出演版(dahara1セレクト)

「赤い髪でショートヘアで赤いイヤリングをした青い服を着た若い女性」でナウシカっぽい画像が大量に生成出来てしまいナウシカ分類器(私の目)が混乱してしまうのであれば、そのうちの１つの属性を変更してやっても、それでもなお「ナウシカっぽい」と認識できるのであれば、その画像はナウシカとしてよいのであろう、と言う考えから服装を変えてもらった版です。ナウシカっぽさは感じるのでDreamBooth拡張は有効と思います。

風の谷のナウシカ学園ドラマ出演版(デザイナーさんセレクト)

しかし、意外な事に上記のセレクトと全く被らない視点がある事が判明しました。もし風の谷のナウシカが学園ドラマのヒロインとして出演するのであれば以下の画像の方が表情や可愛らしさの観点から妥当だという意見があったのでこちらに比較のため掲載させて頂きます。(個人的には学園ドラマというか少女漫画の恋愛ものをイメージしたチョイスに感じます)

風の谷のナウシカ西遊記に出演したチャイナ服版

セーラー服という非常に難度の高い服(sailorは元々「水兵」の意味なので、オリジナルのStable Diffusionでは概念が重複してしまい、日本のセーラー服を画像として出力させるのは難しいのです)が出来たので、他の有名どころとしてチャイナドレスに挑戦してみました。背景を指定しなかったところ、全体的に中国っぽい感じになったので西遊記版としています。

その他、服装や髪型や背景を変えてもらった風の谷のナウシカ

以下の画像は個人的にはナウシカっぽさを感じたのでチョイスしたはずなのですが、ナウシカっぽさがあるからチョイスしたのか、単なる自分の好みの絵柄だからチョイスしたのか、画像を見すぎて良くわからなくなってきているのですがご参考までに掲載しておきます。

他の人の意見もうかがってみたい気もしますが、少なくとも宮崎駿監督は「風の谷のナウシカ: 宮崎駿水彩画集」内のコメントを読む限り、ご自身で書かれたイラストであっても「私の中でナウシカはこんな表情は絶対しないんです」や「編集に言われたので本当は描きたくなかったけど嫌々描きました」等の厳しいコメントが多いのでAIで生成したナウシカイラストはダメ出し対象だろうな、と思います。

個人的感想としては水彩画集は素晴らしく綺麗でお気に入りなのですが、ナウシカの笑顔が少ないのです。深刻なストーリーなので致し方ない部分はあるのですが、好きなキャラクターにもう少し笑顔で楽しそうにしていて欲しいという気持ちってあるじゃないですか？

前述のとおり、宮崎駿監督にそういった絵を描いていただける可能性は低いので、今回のイラスト生成はこれを補完する意味でとても楽しかったです。

入力したプロンプトに対する人工知能の反応理由を想像しながらチューニングしていく作業は本当にとても楽しく時間を忘れてしまいます。Stable Diffusion、Waifu Diffusion、DreamBooth、その他AI／OSSコミュニティの皆さんに感謝です。

2022年10月30日追記)今回の手法を更に追及した記事「Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能」を掲載しました。