Stable Diffusion関連記事のまとめ

Stable Diffusionはstability-ai社が2022年9月にオープンソースとして学習済みモデルが公開して大きな話題になった「入力した文章に基づいて画像を生成するAI」です。

オープンソースとして自由に改変できる形で公開されたため、公開後にも様々な人達が様々な拡張を発表しており、WebBigData内に投稿したStable Diffusion関連記事も多岐にわたるようになってきたため、本ページで概要をまとめました。

1.初心者向けのStable Diffusion解説記事

そもそも何故、Stable Diffusionが話題になったのか、及びPhotoshopから呼び出す方法など
デザイナーさんやイラストレーターさんのためのstable diffusion入門

動かしてみたい人向けに選択肢に何があるかを解説した記事
これからイラスト生成AIを始めてみたい方向けの入門記事

とにかく今すぐ動かしてみたい人向けに無料サービスを使った動かし方の紹介記事
無料で最新のイラスト生成AIを動かせて割と空いているWebページの一覧

誰でも使えるページは混んでいるので自分専用に動かしたい人向けのColab入門
イラスト生成AIを動かしたい人向けのColabの解説

無料版Colabでイラスト生成AIを動かせるように設定したColabの具体的な解説
無料版ColabでStable Diffusion2.1を動かすためのシンプルなColabを公開

一歩進んで自分のパソコン上でStable Diffusionを動かしてみたいと思った際のヒント
Stable Diffusionを動かすパソコンを選ぶ際の基礎知識

イラスト生成AIを動かすパソコンを選ぶ際に重要なGPUのパフォーマンス比較
イラスト生成AIのStable DiffusionはどのGPUで実行するのが最速か?

NvidiaのGPU付きパソコンをお持ちの方が自分のパソコンでStableDiffusionを動かす際のセットアップ方法
AUTOMATIC1111を自分のWindows 10パソコンにインストール/セットアップするの手順
InvokeAIを自分のWindows 10パソコンにインストール/セットアップする手順

2.他の画像生成モデルとの比較

他の画像生成モデルにはどのようなモデルがあるか、及びその比較、動かし方など

Dall-E 2、Midjourney、Stable Diffusionなど文章から画像を生成する人工知能の一覧

人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か?(Craiyon編)

人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か?(Midjourney編)

人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か?(DALL·E 2編)

人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か?(latent diffusion編)

人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か?(stable diffusion編)

画像生成人工知能のシェア分布

ProtoGen:手の指を比較的綺麗に描けるイラスト生成AI

UnCLIP:画像生成人工知能DALL·E 2のオープンソース実装が動かしやすくなる

Waifu Diffusion 1.4 Animeではナウシカとテトを同時に描く事が可能

Waifu Diffusion 1.4 Animeのダウンロード方法と使い方の解説まとめ

無料版ColabでWaifu Diffusion 1.4 Animeを動かすためのシンプルなColabの公開

3.Stable Diffusionをより深く知る

3-1)プロンプトについての解説

プロンプトとは画像を生成する際にStable Diffusionに与える文章の事です。
Stable Diffusion本家サイトに掲載されているプロンプトガイド

Stable Diffusion2.1で導入されたネガティブプロンプトの使い方に関するヒントです。
ネガティブプロンプトに関するヒント

3-2)Seedについての解説

SeedとはStable Diffusionが生成する画像のランダム性を制御する数字の事で、Seedを指定すると違うパソコンで実行しても同じ絵を描いて貰う事が可能になります。

stable diffusionに同じ絵を描いて貰うためにはどうすれば良いか?

3-3)人工知能で生成したイラストを人工知能に評価して貰う

どのような画像を人工知能は品質が高いと評価するのか?、及び、その評価を使って品質が高い画像を生成しやすいプロンプトの傾向をチェック

人工知能に描いて貰ったイラストを人工知能に採点してもらう

Stable Diffusionは写真とイラストのどちらが得意なのか?

スマホ写真で学習した人工知能はStable Diffusionの画像をどう評価するか?

3-4)動作原理や関連論文について

DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事

 

4.Stable Diffusion発表後に新たに実装された拡張機能の紹介

4-1)Img2Img

入力として与えた特定の画像をプロンプトに従って編集する手法です。無料版Colabで動かすサンプルスクリプトも紹介
話題の画像生成AIなら愛猫の絵をゴッホに無料で描いて貰う事が可能

4-2)textual inversionの紹介

textual inversionは3~5枚の画像を使用してStable Diffusionに新しい概念を教えてプロンプトの中で使用できるようにする拡張です。

成功例
Stable Diffusionに天空の城ラピュタの飛行石の紋章を描いて貰う

苦戦例
stable diffusionに自分の好きなキャラクターを描いてもらう事は出来るのか?

直近の進化
Stable Diffusionをカスタマイズする手法の1つであるTextual Inversionの最近の進化

4-3)DreamBoothの紹介
textual inversionよりメモリ使用量が多く動かすのが難しいのですが性能も高いDreamBoothの紹介

DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能

既に微調整されたモデルにDreamBoothを適用できるか調査
Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能

上手くいかなかったイラストに再挑戦した結果
DreamBoothで鬼滅の刃の蟲柱の服をナウシカに着てもらう事は可能か?

上手くいかなかったイラストに再々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は妥協すれば可能

上手くいかなかったイラストに再々々挑戦した結果
DreamBoothで鬼滅の刃の隊服をナウシカに着てもらう事は可能

無料版ColabでDreamBoothを動かすためのサンプルスクリプトの作成と公開
Stable Diffusion 2.0でDreamBoothを試す
Colabで768版のStable Diffusion2.0をDreamBoothする
話題の画像生成AIなら愛犬の銅像を無料で描いて貰う事が可能

4-4)In-Paintingの紹介

人工知能に既存画像の一部分を差し替えて貰うIn-Paintingの紹介
Stable Diffusionを使ってシシ神様をトトロに差し替える

4-5)Out-Paintingの紹介

人工知能に既存画像の枠外の部分を生成して貰うOut-Paintingの紹介
DALL·E 2とStable Diffusionのout-paintingの比較

4-6)人工知能で生成した画像を人工知能で綺麗にする方法の検討

Real-ESRGANとSwinIR:Stable Diffusionで生成した画像の解像度を上げて綺麗にする

4-7)生成した画像の動画化の検討

stable diffusionで生成した画像から動画を生成する

4-8)Stable Diffusionを自分の独自データで更に改良する手法の調査
Stable Diffusionを微調整するために必要な条件の調査

独自データでStable Diffusionを微調整した途中結果を末尾に少しだけ
Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能

5.Stable DiffusionのVersionの違いや経緯など

Stable Diffusion 1.5が公開されるも色々トラブる

Stable Diffusion 2.0のローカルインストール方法と1.5との比較

Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較

Stable Diffusion 2.1とStable Diffusion Prompt Bookの公開

6.その他、話題になった事など

絵画コンテストで人工知能が描いた絵が優勝!?

Dance Diffusion:Stable Diffusionの音楽版が出来るかもしれない

Imagic:写真内の人物の表情をプロンプトで直接編集な人工知能

ニコラス・ケイジでStable Diffusionの限界を探る

 

 

タイトルとURLをコピーしました