DreamBoothで鬼滅の刃の蟲柱の服をナウシカに着てもらう事は可能か？

１．DreamBoothで鬼滅の刃の蟲柱の服をナウシカに着てもらう事は可能か？

・DreamBoothで「人」と「服」の概念を同時に取り込んでイラスト化する試み
・成功すればプロンプトで指定が難しい複雑な構造の服を描いて貰えるようになる
・stable diffusionは服の概念を正しく理解できている可能性があり逆に困難

２．DreamBoothで複数概念を同時に取り込んで一つのイラストにまとめる試み

2022年12月18日更新)本記事の続きとして「鬼滅の刃の隊服をナウシカに着てもらう事は妥協すれば可能」を掲載しました。
2023年1月22日更新)本記事の続きとして「DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は可能」を掲載しました。

アイキャッチ画像はstable diffusion 1.5のDreamBooth拡張で２つの実体を同時に取りこんで個々に表示させた画像。

左が鬼滅の刃の蟲柱の胡蝶しのぶで右が風の谷のナウシカですが、今回は蟲繋がりで左の蟲柱の隊服をお借りしてナウシカに着てもらおうとする試みです。蟲柱の隊服は見ての通り、プロンプトで指定が難しい複雑な構造の服であるため表題の件はチャレンジな課題です。

今回は、ハロウィンの際に上手くいかなかった「鬼滅の刃の蟲柱の胡蝶しのぶの服を風の谷のナウシカに着てもらう」の再挑戦です。

しかし、結論からいうと今回も満足いくレベルに仕上げる事が出来なかった失敗例です。

失敗した理由の考察

個々の実体の学習がおそらく不十分

アイキャッチ画像を見て改めて感じたのですが、両実体ともまだイラストが硬い感じで学習がまだ不十分だったように見えます。実体を一つだけ取り込む時より気持ち学習ステップを長めにしたのですが、ちょっと目分量すぎて丁寧さを欠いてました。あらためて反省点としては下記です。

・服を学習して欲しいのにキャラクターをそのものを学習し始めてしまっているように見えたので早目に学習を切り上げたかった。

・融合させたイラストの方チェックばかりしていたので、個々の実体の学習進捗に注目できていなかった。

辛うじてリボンに蟲柱の形跡を感じとれる画像が多かったです。

服の概念には羽織や色や蝶がおそらく含まれていない

これは私の勝手な思い込みであってstable diffusion先生が正しかった事です。

そう、以下は全然ダメのように感じていたのですが、鬼滅隊服の要素は部分的に取り込みできていて、ある意味、服自体の融合は出来ていて色が違うので私がそれを見落としていただけでした。

流石は伝説の絶対青色に染まるウーマンであり、ナウシカ先生にかかれば、鬼滅隊服だろうが何だろうが、青色に染まってしまうのですね。服の色がキャラクターの方の属性から影響を受けている可能性がある事に気がついた時は衝撃を受けました。

服の色や羽織を指定するとより寄せれるが逆に取りこまれる部分も出る

プロンプトで服の色や羽織、蝶などの細かい属性を指定するとぐっと雰囲気が寄せれますが、細かく指定しすぎると逆に取り込まれてナウシカっぽさが薄れる部分が少しずつ出てきてしまいます。

和服要素を入れると年齢が上がって色っぽくなるように感じるのですが気のせいでしょうか？もしかしたら、色気を感じるのは逆に私の持つ価値観からの偏見(bias)であって、世界標準で見れば単なるジャパニーズトラディショナルコスチュームなのかもしれません。

人工知能が内包する偏見はよく問題とされますが、「概念」を取り扱う際にはstable diffusion側の偏見だけではなく、自分自身の持つ偏見に気づかされる事もあるのだな、と言う事は新鮮な驚きでした。

おそらく、ベースモデルをstable diffusion 1.5ではなくWaifu Diffusionにすれば、この辺りの苦労は全く感じる事なくスムーズに実現できてしまうのだろうな、と感じましたが、Waifu Diffusionについては12月26日にリリース予定とされるWaifu Diffusion v1.4を楽しみに待つ事にして、今回の反省点を生かしてstable diffusion 2.1ベースで再挑戦予定です。

以下が比較的良い感じに出来たと思える画像群です。細部に残念な所はまだありますが望んだ方向性についてはstable diffusion先生とわかり合えた気がします。