Stable Diffusionはstability ai社が2022年9月に学習済みモデルをオープンソースで公開して大きな話題になった「入力した文章に基づいて画像を生成するＡＩ」です。
オープンソースとして自由に改変できる形で公開されたため、公開後にも様々な人達が様々な拡張を発表しており、WebBigData内に投稿したStable Diffusion関連記事も多岐にわたるようになってきたため、本ページで概要をまとめました。
１．初心者向けのStable Diffusion解説記事
- そもそも何故、Stable Diffusionが話題になったのか、及びPhotoshopから呼び出す方法など
デザイナーさんやイラストレーターさんのためのstable diffusion入門 - 動かしてみたい人向けに選択肢に何があるかを解説した記事
これからイラスト生成ＡＩを始めてみたい方向けの入門記事 - とにかく今すぐ動かしてみたい人向けに無料サービスを使った動かし方の紹介記事
無料で最新のイラスト生成ＡＩを動かせて割と空いているWebページの一覧 - 誰でも使えるページは混んでいるので自分専用に動かしたい人向けのColab入門
イラスト生成ＡＩを動かしたい人向けのColabの解説 - 無料版Colabでイラスト生成AIを動かせるように設定したColabの具体的な解説
無料版ColabでStable Diffusion2.1を動かすためのシンプルなColabを公開 - 2023年9月時点で最新のStable Diffusion XLを非常に簡単に体験する方法
Fooocus：最新のイラスト生成AIを使って無料でSNS用のヘッダーを作成する方法
Fooocus-MRE：自分の描いた絵をAIに格好良くしてもらう -
一歩進んで自分のパソコン上でStable Diffusionを動かしてみたいと思った際のヒント
- Stable Diffusionを動かすパソコンを選ぶ際の基礎知識
- イラスト生成AIを動かすパソコンを選ぶ際に重要なGPUのパフォーマンス比較
イラスト生成AIのStable DiffusionはどのGPUで実行するのが最速か？ - NvidiaのGPU付きパソコンをお持ちの方が自分のパソコンでStableDiffusionを動かす際に最も使われているAUTOMATIC1111のセットアップ解説
AUTOMATIC1111を自分のWindows 10パソコンにインストール/セットアップするの手順 - AUTOMATIC1111の次に良く言及される事が多いInvokeAIのセットアップ解説
InvokeAIを自分のWindows 10パソコンにインストール/セットアップする手順 - 次世代のStable Diffusionと言われるStable Diffusion XL(SDXL)を比較的簡単に動かせるComfyUIの解説
Stable Diffusionの新VersionであるStable Diffusion XL(SDXL)をComfyUIで動かす方法
２．他の画像生成モデルとの比較
-
他の画像生成モデルにはどのようなモデルがあるか、及びその比較、動かし方など
- Dall-E 2、Midjourney、Stable Diffusionなど文章から画像を生成する人工知能の一覧
- 画像生成人工知能のシェア分布
-
同じプロンプト(指示文)から生成されるイラストを比較
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(Craiyon編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(Midjourney編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(DALL·E 2編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(latent diffusion編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(stable diffusion編)
-
Stable Diffusion以外の、無料で使用可能なイラスト生成AI
- ProtoGen：手の指を比較的綺麗に描けるイラスト生成ＡＩ
- UnCLIP:画像生成人工知能DALL·E 2のオープンソース実装が動かしやすくなる
- Waifu Diffusion 1.4 Animeではナウシカとテトを同時に描く事が可能
- Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説まとめ
- 無料版ColabでWaifu Diffusion 1.4 Animeを動かすためのシンプルなColabの公開
- Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能
３．Stable Diffusionをより深く知る
-
３－１）プロンプトについての解説
- プロンプトとは画像を生成する際にStable Diffusionに与える文章の事です。
Stable Diffusion本家サイトに掲載されているプロンプトガイド - Stable Diffusion2.1で導入されたネガティブプロンプトの使い方に関するヒントです。
ネガティブプロンプトに関するヒント - プロンプトがイラストの何処に有効になっているのかを確認する手法の紹介
DAAM:生成した画像のどの部分にプロンプトが効いているのかを可視化する - chatGPTのような対話型のAIにイラスト生成AI用のプロンプトを描いて貰う際にしっておくべき事
言語モデル用のプロンプトエンジニアリングの経験則と実例 - プロンプトを文字の色や大きさを変えられるリッチテキスト形式で書いてして表現力を向上する手法
rich-text-to-image：イラスト生成AI向けのプロンプトをリッチテキスト形式にして表現力を向上 -
３－２）Seedについての解説
- SeedとはStable Diffusionが生成する画像のランダム性を制御する数字の事で、Seedを指定すると違うパソコンで実行しても同じ絵を描いて貰う事が可能になります。
- stable diffusionに同じ絵を描いて貰うためにはどうすれば良いか？
-
３－３）人工知能で生成したイラストを人工知能に評価して貰う
- どのような画像を人工知能は品質が高いと評価するのか？、及び、その評価を使って品質が高い画像を生成しやすいプロンプトの傾向をチェック
- 人工知能に描いて貰ったイラストを人工知能に採点してもらう
- Stable Diffusionは写真とイラストのどちらが得意なのか？
- スマホ写真で学習した人工知能はStable Diffusionの画像をどう評価するか？
-
３－４）動作原理や関連論文について
- DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事
４．Stable Diffusion発表後に新たに実装された拡張機能の紹介
-
４－１）Img2Img
- 入力として与えた特定の画像をプロンプトに従って編集する手法です。無料版Colabで動かすサンプルスクリプトも紹介
話題の画像生成AIなら愛猫の絵をゴッホに無料で描いて貰う事が可能 -
４－２）textual inversionの紹介
- textual inversionは３～５枚の画像を使用してStable Diffusionに新しい概念を教えてプロンプトの中で使用できるようにする拡張です。
- 成功例
Stable Diffusionに天空の城ラピュタの飛行石の紋章を描いて貰う - 苦戦例
stable diffusionに自分の好きなキャラクターを描いてもらう事は出来るのか？ - 直近の進化
Stable Diffusionをカスタマイズする手法の１つであるTextual Inversionの最近の進化 -
４－３）DreamBoothの紹介
- textual inversionよりメモリ使用量が多く動かすのが難しいのですが性能も高いDreamBoothの紹介
DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能 - 既に微調整されたモデルにDreamBoothを適用できるか調査
Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能 - 上手くいかなかったイラストに再挑戦した結果
DreamBoothで鬼滅の刃の蟲柱の服をナウシカに着てもらう事は可能か？ - 上手くいかなかったイラストに再々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は妥協すれば可能 - 上手くいかなかったイラストに再々々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は可能 - 無料版ColabでDreamBoothを動かすためのサンプルスクリプトの作成と公開
Stable Diffusion 2.0でDreamBoothを試す - Colabで768版のStable Diffusion2.0をDreamBoothする
- 話題の画像生成AIなら愛犬の銅像を無料で描いて貰う事が可能
-
４－４）In-Paintingの紹介
- 人工知能に既存画像の一部分を差し替えて貰うIn-Paintingの紹介
Stable Diffusionを使ってシシ神様をトトロに差し替える -
４－５）Out-Paintingの紹介
- 人工知能に既存画像の枠外の部分を生成して貰うOut-Paintingの紹介
DALL·E 2とStable Diffusionのout-paintingの比較 -
４－６）人工知能で生成した画像を人工知能で綺麗にしたり編集する方法の検討
- Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする
- instruct pix2pix：プロンプトだけを使ってAIでイラストの修正を行う
-
４－７）生成した画像の動画化の検討
- stable diffusionで生成した画像から動画を生成する
- infinite zoom outとzoom in:stable diffusionで作成したイラストを無限にズームして動画を作成
- text-2-video：プロンプトから動画を作成するColabとSpaceが公開
- FollowYourPose:画像生成モデルとポーズ動画と文章からキャラクターの動画を生成
- SadTalker:任意の音声に合わせて口パクする動画を一枚絵から生成
- 最新AIで動画を作成する方法：話題の動画はこうして作られた！
- AnimateDiffで静止画から動画を作る４つの方法
-
４－８）Stable Diffusionを自分の独自データで更に改良する手法の調査
- Stable Diffusionを微調整するために必要な条件の調査
- 独自データでStable Diffusionを微調整した途中結果を末尾に少しだけ
Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能 -
４－９）ポーズを自由に設定できるControlNetの紹介
- ControlNet:棒人間で表現した好きなポーズをAIでイラスト化する
- Stable Diffusion 2.1用のControlNetのセットアップ方法
- 新たに6モデルを追加したControlNet1.1が公開
- Reference-only ControlNet：ついに前処理さえ不要になったコントロールネット
- Waifu Diffusion 1.5 Beta 3を使ってLoRAとReference-only ControlNetを比較
５．Stable DiffusionのVersionの違いや経緯など
- Stable Diffusion 1.5が公開されるも色々トラブる
- Stable Diffusion 2.0のローカルインストール方法と1.5との比較
- Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較
- Stable Diffusion 2.1とStable Diffusion Prompt Bookの公開
- Stable Diffusion v2-1-unclip:画像から意味的に似た画像を作成するImage2Imageとは異なる手法
- Stable Diffusionの新VersionであるStable Diffusion XL(SDXL)をComfyUIで動かす方法
６．その他、話題になった事など
- 絵画コンテストで人工知能が描いた絵が優勝！？
- Dance Diffusion：Stable Diffusionの音楽版が出来るかもしれない
- Imagic:写真内の人物の表情をプロンプトで直接編集な人工知能
- ニコラス・ケイジでStable Diffusionの限界を探る
- segment-anything:画像内の全ての物体を画素単位で切り出す事が出来るMetaの基盤モデル
学習用画像の作成に便利です。 - 思わずクリックしたくなるようなアイキャッチ画像はイラスト生成AIで自動生成できるのか？
特定の用途向けの画像をワンクリックで作成できる時代が迫ってきています - AIを使ってイラスト内にQRコードリーダーで読み取れる情報を埋め込む方法
一見、QRコードに見えない非常に綺麗なQRコードが作成できるので話題になりました。 - 2023年6月時点の技術でイラスト生成AIで二次元キャラクターのコスプレ画像を作成する
特定のキャラクターに特定の服を着せる等の細かい制御を最新の技術で実施する方法の解説