ProtoGen：手の指を比較的綺麗に描けるイラスト生成ＡＩ

１．ProtoGen：手の指を比較的綺麗に描けるイラスト生成ＡＩまとめ

・画像生成AIはイラストから学習した特徴をチェックポイントと呼ばれるファイルに保存
・チェックポイント同士を融合して新しいモデルを作成するテクニックも存在する
・ProtoGenは、大晦日からお正月にかけてリリースされたマージを使った新モデル

アイキャッチ画像はstable diffusion 1.5から派生したマージモデルであるProtoGenを更に微調整して生成したイラスト

画像生成AIは、イラストから学習した特徴をチェックポイントと呼ばれるファイルに保存します。

例えば、Stable Diffusion 1.5とは実体はStable Diffusion 1.5用のチェックポイントの事です。Stable Diffusion 2.1にもStable Diffusion 2.1用のチェックポイントが存在します。

チェックポイントを読みこんで実行する事で学習した特徴に基づくイラストを生成する事ができます。読みこんだチェックポイントを更に独自データで学習させて独自モデルを作り、その独自モデルのチェックポイントを作成する事もできます。

様々な人が様々な手法でStable Diffusionをベースに独自モデルのチェックポイントを作成しており、それらの独自モデルをまとめて公開しているサイトなども乱立しているのが現在の状況です。

そして、このチェックポイント同士をマージ(merge、融合の意味です)させて新しいモデルを作成するテクニックが存在します。

モデル同士の長所を上手く融合させる事ができると元になったモデルより品質を高める事が出来るという原理なのですが、ProtoGenは、大晦日からお正月にかけてリリースされた、このマージ手法を使った新モデルです。

写真のような非常に品質の高い画質のイラストで、画像生成AIが苦手とする手の指なども比較的綺麗に描く事が出来ると言う触れ込みのモデルだったので、気になったので評価してみました。

まずは以下をお楽しみください。

私の理解する限り、どうやら多様なチェックポイントを融合する事で、モデル内の分布、つまり画風やモチーフ、文脈がある程度固定化され、その結果、イラスト生成AIが苦手とする手の指などもオリジナルのStable Diffusionより高い精度で描く事が出来ると言う事のようです。

実際に使ってみると、確かに品質は高く、手の指は比較的綺麗にかけます。しかしProtoGenが得意とする画風やモチーフ、文脈から離れた絵を描く事は難しく、特定のモチーフではネガティブプロンプトを工夫しても絶対帽子か傘を被せようとしてくる等の制御が難しい側面も感じました。

しかし、マージ手法はポテンシャルはありそうでこれから更に発展しそうな気はしています。

AUTOMATIC1111を使っている場合は下記リンクからダウンロードしてmodelsフォルダにコピーすれば使えます。