デザイナーさんやイラストレーターさんのためのstable diffusion入門

１．デザイナーさんやイラストレーターさんのためのstable diffusion入門まとめ

・デザインやイラストの分野でご活躍されている方向けのstable diffusionの解説
・情報が溢れていて経緯がわかりにくくなっているように感じたのでまとめた
・Photoshopから呼び出す方法も書いたのでご自分で使ってみる事をお勧め

２．Photoshopからstable diffusionを使うプラグインの紹介

アイキャッチ画像はstable diffusionによる生成でお絵かき学校に入門したトトロ

2023年9月追記)本記事で書いたように画像生成AIは動かすまでが大変なのですが、最近、非常に簡単に綺麗な画像を生成できるFooocusというツールが発表されました。手っ取り早く綺麗な画像を生成してみたい方は「Fooocus：最新のイラスト生成AIを使って無料でSNS用のヘッダーを作成する方法」を読んでみる事をお勧めします。

デザイナーやイラストレーターとしてご活躍されている方の中には、AIアート／テクノロジーを毛嫌いしている方もおられると思うのですが、実はAIアート／テクノロジーと最も組み合わせ効果があるツール／スキルセットはPhotoShopやGIMP等の画像編集、レタッチ、グラフィックデザインスキルです。

そのため、使わずに好き嫌いを判断してしまうのは勿体ないのではないかと思っており、そもそも論の土台部分からの解説と一番慣れ親しんでいるツールであろう、Photoshopからstable diffusionを呼び出すプラグインの紹介記事の執筆に挑戦してみる事にしました。

あまり技術的な部分は知らないけれども最近(2022年8月頃から)、英語の文章を元に画像を生成するstable diffusionという新しい人工知能がニュースになっているらしいが「そもそもstable diffusionとは何なのか？」や「何故、それが話題になっているのか？」など疑問に思っている方向けになるべくわかりやすく解説します。

（１）stable diffusionとは何か？

stable diffusionは文章(英語)による指示に基づいて画像を生成する事が出来る人工知能です。

原理について詳しく知りたい方は、以下のページを流し読みすると良いです。

「DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事」

具体的に生成出来る画像の品質はアイキャッチ画像や以下のページなどに沢山載せているのでご覧ください。

「人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(stable diffusion編)」

（２）何故、stable diffusionは話題になったのか？

同様な画像生成人工知能は他にもあります。その中には人間用の美術展で一位を取って物議をかもした高品質モデルもあります。

更にはstable diffusionがシェア一位と言うわけではありません。しかし、stable diffusionは「学習済みモデル」がオープンソースとして誰でも利用可能な形式で無料公開されたために話題となりました。

ガンダムで例えると
テム・レイがガンダム沢山作ったから欲しい人は自由に持って行って良いと言い出した

鬼滅の刃で例えると
鬼舞辻無惨が「ここに私の血を抜いといたから欲しい人は誰でも持って行って良い！」と言い出した

ここでのポイントは、

ガンダムであれば「設計図の公開」ではなく「完動品が配られた」事です。

鬼滅の刃であれば「パワハラ体質の無惨様から血を抜く」という(おそらく大変危険で手間のかかる)作業が既に済んでいると言う事です。

stable diffusionというモデル(設計図に相当)が公開されただけなら、それほどのインパクトはないのですが、多大な労力を必要とするデータ収集と整備を行い、莫大なお金がかかるコンピュータ設備を使ってstable diffusionを学習させた後、その「学習済のstable diffusionモデル」を公開してくれたと言う所が大きなインパクトでした。

そのため、様々な人が学習済のstable diffusionモデルをコピーして、stable diffusionを動してイラスト／画像生成サービスを提供してくれているのが現在の状況です。

（３）本当に無料なのか？

初期費用は無料になっても、ランニングコストは別にかかります。

ガンダムであれば、ガンダムを動かすためのエネルギーを誰が提供するかという問題であり、鬼滅の刃であれば、血を飲んで鬼になった後に食事として必要になる人間を誰がどのように調達するのかという問題です。

stable diffusionの場合の主なランニングコストは、GPU(グラフィックス・プロセシング・ユニット)とそのGPUを動かすための電気代です。

イラストレーターやデザイナーの方であれば高解像度画像や動画編集用に高性能GPU搭載パソコンをお持ちの方もおられるかもしれません。

直近は仮想通貨採掘需要が減ったため大分値下がりしましたが、それでもGPU搭載パソコンが非搭載パソコンよりかなりお高いのはご承知の事と思います。クラウドと言う手もありますが、GPU搭載タイプであれば安価なクラウドでも月間費用は10万円以上はかかります。

自己所有のGPU搭載パソコンでstable diffusionを動かす事は不可能ではありませんが、GPUにもNVIDIA製、AMD製、更にMacで細かい違いが沢山あって、セットアップ方法もそれぞれ異なっています。現在のサービス乱立状況下では、運が良いか、エンジニア魂(動かないシステムを見るとその原因を解明したくなり意欲が高まる気質の人)溢れる方でないと動かせるようになる前に挫折する可能性が高いと思います。

ガンダムであれば「アムロのガンダムを借りてブライト艦長に無断で出撃する」のと「自分自身でガンダムを購入して、関係諸官庁にライセンス登録をして、自ら整備・燃料補給・掃除・カスタムパーツを取付けし、毎日出撃する」くらいの違いです。

鬼滅の刃であれば「山奥で目立たないように隠れて悪さをする」のと「でっかい街で堂々と悪さをする」くらいの違いで後者は相当な備えをしないと速攻で鬼滅隊 or 無惨様に目を付けられてしまうわけです。

後者は前提として知っていなければいけない知識や手間・技量が比較にならない程増えるであろう事は想像できると思います。本投稿は前者を前提にします。まずは動かしてみて、もっと深く使ってみたいと思ったら後者に挑戦すれば良いと思います。後者に関する記事は「これからイラスト生成ＡＩを始めてみたい方向けの入門記事」に書いていく予定です。

さて、stable diffusionを提供しているサービスの中には、様々な形態がありますが、この「ランニングコストを誰が負担するか？」で大別する事が出来ます。

１）サービス提供者
技術デモやPR目的などそんなに大量に使われない前提での公開
２）広告モデル
無料だけれども広告も表示されてそこから得た収益で運営
３）サービス利用者
従量課金制、もしくは自己所有のパソコンで動かすなど

今回、紹介するphotoshopのプラグインでは、無料枠はありますが、無料枠がなくなると従量課金になるので、ランニングコストを負担するのはサービス利用者、つまり貴方になります。

（４）photoshopのプラグインは何をやっているのか？

ご紹介するプラグインは、本家、つまり学習済stable diffusionを公開してくれた会社(stability.ai)が提供しているWebサービスに接続して文章を送り、返却された画像を表示させています。

つまり「あなた自身のパソコンでstable diffusionを動かしているわけではない」ので、GPUは不要です。

しかし、動作させるためには

・インターネット接続
・サーバー(dreamstudio.ai)にアカウント登録し、APIキーを入手する

事が必要になります。

このプラグインはAdobe公式プラグインではありませんが、元々Adobeにお勤めされていた方がフリーランスになった後に開発したプラグインだそうで、メールによる問い合わせにも誠実に回答してくれたのでご紹介させて頂く事にしました。

プラグイン自体は無料ですが、約200枚を超えるとAPI利用料を1000枚単位で前払いする事が必要になります。

（５）photoshopのプラグインの特徴

私個人の感想ではありますが以下がメリット／デメリットです。

メリット

・本家が提供しているサービスに接続しているのでモデルのバージョンがオープンソースとして公開された版より新しい場合がある
・機能追加やアップデートが早い
・APIキーを設定するだけなのでセットアップが簡単

デメリット

・従量課金なので大量に使うと１枚当たりにお金がかかる
約200枚までは無料、以降は1枚あたり約1.6円程度で利用できます。
・モデルのバージョンが新しいので従来版と一部互換性がない
シードと言う機能を使うと別のパソコンで作った絵を再現できるのですが、旧版で作成したシードの流用ができません。

（６）photoshopのプラグインのセットアップ方法

大まかな流れは以下です。

・dreamstudio.aiでアカウント登録してAPIキーを取得

・StableDiffusionのプラグインをダウンロードしてphotoshopにインストール

・photoshopにAPIキーを登録して利用開始

以下で詳細を解説します。

６－１）dreamstudio.aiでアカウント登録してAPIキーを取得

６－１－１）dreamstudio.aiにブラウザでアクセス

アカウント登録のためにdreamstudio.aiにブラウザでアクセスします。

何の説明もなしにアカウント登録ウィンドウが出て驚くかもしれませんが、プロモーションに手が回っていない技術系企業はこんなものです。求められるのはメールアドレスだけなので、メールアドレス登録なり、Googleアカウント連携なりをしてアカウントを作成してログインまで行きついてください。

６－１－２）ウェルカムメッセージの表示
ログインすると現在もまだ開発中である事や倫理的、道徳的、合法的な使用を心がけてください、というお願いメッセージが出ます。

一言で言うと
「あなたのお母さんに自慢できるような使い方をしてください(make your mothers proud)」
と言う事です。

新しい技術なので、法的／技術的な縛りは後回しで性善説前提ですね。右上の×で閉じます。

６－１－３）メンバーシップ画面の表示

この画面で画像生成をする事が出来るのですが、今回はAPIキーを取得する事が目的なので、右上のアイコンをクリックして出てくるメニューから「Membership」を選びます。

６－１－４）APIキーの取得

「API Key」を押して表示される画面でCopyを押してAPI Keyをコピーして、どこかに貼り付け/保存しておきます。

Create API Keyを押さずとも最初からkeyが作成されていた記憶がありますが、もし作成されていなかったらCreate API Keyで作成した後に同様にコピーしてください。

６－２）プラグインをダウンロードしてphotoshopにインストール

６－２－１）プラグイン作者のページにブラウザでアクセス

プラグイン作者のChristian Cantrellさんのページ「https://christiancantrell.com/#ai-ml」にアクセスし、「Download the Stable Diffusion Photoshop Plugin」をクリックしてダウンロードします。

執筆時点の最新版は(v0.2.0)です。ページ内ではyoutubeでの動画解説なども公開されているので適宜ご覧ください。

６－２－２）プラグインのインストール

photoshopやプラグインの扱いはデザイナーさんやイラストレーターさんの方が私よりお詳しいとは思うのですが、以下、Windows版photoshopの画面で解説します。

ダウンロードしたアイコンをダブルクリック

Creative Cloud Desktopが立ち上がるので「ローカルにインストール」を選択

確認画面が表示されるので問題ないと思ったら「OK」をクリック

プラグインがインストールされるのでPhotoshopを起動します。

６－３）photoshopにAPIキーを登録して利用開始

６－３－１）Stable Diffusion Photoshop Pluginを起動

photoshopを起動し、上段メニューより「プラグイン」→「Stable Diffusion」でStable Diffusionのプラグインを起動します。

６－３－２）APIキーの登録

表示された画面で「６－１－４）APIキーの取得」で取得したAPIキーをコピーし、「Save」を押して保存します。

６－３－３）画像の生成

APIキーの登録が無事に完了すると画像が生成できるようになります。prompt(プロンプト)と書かれている部分に英語で描いて貰いたい画像を文章で記入し、「Dream」ボタンを押すと画像が生成されます。過去に作成した絵はhistoryタブから確認する事が可能で、レイヤーとして取り込む事も出来るので編集は容易です。