Stable Diffusionはstability ai社が2022年9月に学習済みモデルをオープンソースで公開して大きな話題になった「入力した文章に基づいて画像を生成するＡＩ」です。
オープンソースとして自由に改変できる形で公開されたため、公開後にも様々な人達が様々な拡張を発表しており、WebBigData内に投稿したStable Diffusion関連記事も多岐にわたるようになってきたため、本ページで概要をまとめました。
１．初心者向けのStable Diffusion解説記事
- そもそも何故、Stable Diffusionが話題になったのか、及びPhotoshopから呼び出す方法など
デザイナーさんやイラストレーターさんのためのstable diffusion入門 - 動かしてみたい人向けに選択肢に何があるかを解説した記事
これからイラスト生成ＡＩを始めてみたい方向けの入門記事 - とにかく今すぐ動かしてみたい人向けに無料サービスを使った動かし方の紹介記事
無料で最新のイラスト生成ＡＩを動かせて割と空いているWebページの一覧 - 誰でも使えるページは混んでいるので自分専用に動かしたい人向けのColab入門
イラスト生成ＡＩを動かしたい人向けのColabの解説 - 無料版Colabでイラスト生成AIを動かせるように設定したColabの具体的な解説
無料版ColabでStable Diffusion2.1を動かすためのシンプルなColabを公開 一歩進んで自分のパソコン上でStable Diffusionを動かしてみたいと思った際のヒント
- Stable Diffusionを動かすパソコンを選ぶ際の基礎知識
- イラスト生成AIを動かすパソコンを選ぶ際に重要なGPUのパフォーマンス比較
イラスト生成AIのStable DiffusionはどのGPUで実行するのが最速か？ - NvidiaのGPU付きパソコンをお持ちの方が自分のパソコンでStableDiffusionを動かす際のセットアップ方法
AUTOMATIC1111を自分のWindows 10パソコンにインストール/セットアップするの手順 - InvokeAIを自分のWindows 10パソコンにインストール/セットアップする手順
２．他の画像生成モデルとの比較
他の画像生成モデルにはどのようなモデルがあるか、及びその比較、動かし方など
- Dall-E 2、Midjourney、Stable Diffusionなど文章から画像を生成する人工知能の一覧
- 画像生成人工知能のシェア分布
同じプロンプト(指示文)から生成されるイラストを比較
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(Craiyon編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(Midjourney編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(DALL·E 2編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(latent diffusion編)
- 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(stable diffusion編)
Stable Diffusion以外の、無料で使用可能なイラスト生成AI
- ProtoGen：手の指を比較的綺麗に描けるイラスト生成ＡＩ
- UnCLIP:画像生成人工知能DALL·E 2のオープンソース実装が動かしやすくなる
- Waifu Diffusion 1.4 Animeではナウシカとテトを同時に描く事が可能
- Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説まとめ
- 無料版ColabでWaifu Diffusion 1.4 Animeを動かすためのシンプルなColabの公開
- Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能
３．Stable Diffusionをより深く知る
３－１）プロンプトについての解説
- プロンプトとは画像を生成する際にStable Diffusionに与える文章の事です。
Stable Diffusion本家サイトに掲載されているプロンプトガイド - Stable Diffusion2.1で導入されたネガティブプロンプトの使い方に関するヒントです。
ネガティブプロンプトに関するヒント - プロンプトがイラストの何処に有効になっているのかを確認する手法の紹介
DAAM:生成した画像のどの部分にプロンプトが効いているのかを可視化する ３－２）Seedについての解説
- SeedとはStable Diffusionが生成する画像のランダム性を制御する数字の事で、Seedを指定すると違うパソコンで実行しても同じ絵を描いて貰う事が可能になります。
- stable diffusionに同じ絵を描いて貰うためにはどうすれば良いか？
３－３）人工知能で生成したイラストを人工知能に評価して貰う
- どのような画像を人工知能は品質が高いと評価するのか？、及び、その評価を使って品質が高い画像を生成しやすいプロンプトの傾向をチェック
- 人工知能に描いて貰ったイラストを人工知能に採点してもらう
- Stable Diffusionは写真とイラストのどちらが得意なのか？
- スマホ写真で学習した人工知能はStable Diffusionの画像をどう評価するか？
３－４）動作原理や関連論文について
- DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事
４．Stable Diffusion発表後に新たに実装された拡張機能の紹介
４－１）Img2Img
- 入力として与えた特定の画像をプロンプトに従って編集する手法です。無料版Colabで動かすサンプルスクリプトも紹介
話題の画像生成AIなら愛猫の絵をゴッホに無料で描いて貰う事が可能 ４－２）textual inversionの紹介
- textual inversionは３～５枚の画像を使用してStable Diffusionに新しい概念を教えてプロンプトの中で使用できるようにする拡張です。
- 成功例
Stable Diffusionに天空の城ラピュタの飛行石の紋章を描いて貰う - 苦戦例
stable diffusionに自分の好きなキャラクターを描いてもらう事は出来るのか？ - 直近の進化
Stable Diffusionをカスタマイズする手法の１つであるTextual Inversionの最近の進化 ４－３）DreamBoothの紹介
- textual inversionよりメモリ使用量が多く動かすのが難しいのですが性能も高いDreamBoothの紹介
DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能 - 既に微調整されたモデルにDreamBoothを適用できるか調査
Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能 - 上手くいかなかったイラストに再挑戦した結果
DreamBoothで鬼滅の刃の蟲柱の服をナウシカに着てもらう事は可能か？ - 上手くいかなかったイラストに再々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は妥協すれば可能 - 上手くいかなかったイラストに再々々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は可能 - 無料版ColabでDreamBoothを動かすためのサンプルスクリプトの作成と公開
Stable Diffusion 2.0でDreamBoothを試す - Colabで768版のStable Diffusion2.0をDreamBoothする
- 話題の画像生成AIなら愛犬の銅像を無料で描いて貰う事が可能
４－４）In-Paintingの紹介
- 人工知能に既存画像の一部分を差し替えて貰うIn-Paintingの紹介
Stable Diffusionを使ってシシ神様をトトロに差し替える ４－５）Out-Paintingの紹介
- 人工知能に既存画像の枠外の部分を生成して貰うOut-Paintingの紹介
DALL·E 2とStable Diffusionのout-paintingの比較 ４－６）人工知能で生成した画像を人工知能で綺麗にしたり編集する方法の検討
- Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする
- instruct pix2pix：プロンプトだけを使ってAIでイラストの修正を行う
４－７）生成した画像の動画化の検討
- stable diffusionで生成した画像から動画を生成する
- infinite zoom outとzoom in:stable diffusionで作成したイラストを無限にズームして動画を作成
- text-2-video：プロンプトから動画を作成するColabとSpaceが公開
４－８）Stable Diffusionを自分の独自データで更に改良する手法の調査
- Stable Diffusionを微調整するために必要な条件の調査
- 独自データでStable Diffusionを微調整した途中結果を末尾に少しだけ
Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能 ４－９）ポーズを自由に設定できるControlNetの紹介
- ControlNet:棒人間で表現した好きなポーズをAIでイラスト化する
- Stable Diffusion 2.1用のControlNetのセットアップ方法
５．Stable DiffusionのVersionの違いや経緯など
- Stable Diffusion 1.5が公開されるも色々トラブる
- Stable Diffusion 2.0のローカルインストール方法と1.5との比較
- Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較
- Stable Diffusion 2.1とStable Diffusion Prompt Bookの公開
- Stable Diffusion v2-1-unclip:画像から意味的に似た画像を作成するImage2Imageとは異なる手法