DAAM:生成した画像のどの部分にプロンプトが効いているのかを可視化する

１．DAAM:生成した画像のどの部分にどのプロンプトが効いているのかを可視化するまとめ

・「AIが何に基づいて動いているのかわからないので説明ができない」という問題は昔から指摘されていた
・「AIが画像のどこに注目したのか？」を視覚化するAttention Mapと呼ばれる技術があり、その応用がDAAM
・Stable Diffusionが概念を融合してしまう現象の原因を探ったところ、概念の重複があやしい事がわかった

２．Stable Diffusionのプロンプトを極めたい人向けの拡張機能DAAM

アイキャッチ画像はstable diffusionのカスタムモデルによる生成で、DAAMが出力するヒートマップをイメージしたイラストにしたかったのですが、ヒートマップやサーモグラフを指定しても上手くできず、暖色と寒色は表現できたけれども全体としては良くわからないけれどもテトがドヤ顔しているのでヨシとしたイラスト

Stable Diffusion等のイラスト生成AIに入力として与える文をプロンプト(prompt)と言います。

プロンプトは生成したいイラストを言葉で表現したものですが、非常に長文、及び単語の羅列が含まれ、且つ、一見、イラストと無関係に見える単語が含まれる事があるため、日本語圏のイラスト生成界隈ですと「呪文」と呼ばれる事もあります。

実際、プロンプトを細かく見ていこうとするとおまじない的に使用されていて意味がなさそうに見える単語や、単体では効果が薄くとも複数の単語と組み合わさって何かの効果をイラストに与えているように見えるものなど、効果がはっきりとわからない事が多いです。

「AIが何に基づいて動いているのかわからないので説明ができない」

という問題は、イラスト生成AIだけに限った事ではなく、昔から指摘されてきた問題です。

特に医療分野などでは「説明可能なAI(xAI:eXplainable AI)」の重要性が指摘されています。例えば、AIがレントゲン画像を見て病気を発見したとしても、AIがどこに注目して病気だと判断したかがわからないと、人間の医師が患者さんに説明できないので、AIの有効活用が難しくなってしまうのです。

そのため

「AIが画像のどの部分に着目したのか？」

を視覚化するアテンションマップ(Attention Map)と呼ばれるテクニックが開発されており、それをStable Diffusionに応用したのがDAAM(Diffusion Attentive Attribution Maps)です。

DAAMをAUTOMATIC1111の拡張機能として開発してくれている方は複数人おられるのですが、最新版で完全に動作する実装を私が見つける事が出来ていません。

そのため、元の実装とSpaceへのリンクだけを末尾に張っておきます。

AUTOMATIC1111の拡張機能としての実装は、Stable diffusion 1.5にしか対応していない実装や、動かそうとする事によって他の拡張や本体の動作が不安定になってしまうものなどもあるようなので、ご自分で試してみたいと思った方は、導入前にバックアップを取る等の対策を行う事をお勧めします。