入門／解説 新たに6モデルを追加したControlNet1.1が公開
１．新たに6モデルを追加したControlNet1.1が公開まとめ ・一週間くらい前に従来の8モデルの改良版＋6モデルを追加したControlNet1.1がリリースされた ・線画を自在に色塗りする事ができるLineart系の機能も追加された...
image processing
入門／解説 
アプリケーション segment-anything:画像内の全ての物体を画素単位で切り出す事が出来るMetaの基盤モデル
１．segment-anything:画像内の全ての物体を画素単位で切り出す事が出来るMetaの基盤モデルまとめ ・画像内にある物体を自動で認識して、切り出せるようにセグメンテーションマスクを作ってくれるSegment-Anything M...
入門／解説 SadTalker:任意の音声に合わせて口パクする動画を一枚絵から生成(Colab、Spaceあり)
１．SadTalker:任意の音声に合わせて口パクする動画を一枚絵から生成(Colab、Spaceあり)まとめ ・任意の音声に合わせて口パクする動画を一枚絵や動画から生成するAIであるSadTalkerが誰でも動かせる形で公開された ・Sa...
入門／解説 Stable Diffusion v2-1-unclip:画像から意味的に似た画像を作成するImage2Imageとは異なる手法
１．Stable Diffusion v2-1-unclip:画像から意味的に似た画像を作成するImage2Imageとは異なる手法まとめ ・Stable Diffusion v2-1-unclipとは、Stable Diffusionの開...
入門／解説 instruct pix2pix：プロンプトだけを使ってAIでイラストの修正を行う
１．instruct pix2pix：プロンプトだけを使ってAIでイラストの修正を行うまとめ ・思い通りの編集効果が出せない時はImage CFGやText CFGの値をチューニングすると期待通りの効果が出せる可能性がある ・本家githu...
入門／解説 Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能
１．Waifu Diffusion 1.5 Betaなら今風の絵柄でナウシカを描く事が可能まとめ ・まだ完全に学習が終わってないベータ版だがWaifu Diffusion 1.5が2月14日に公開されて画像生成や微調整ができるようになった ...
画像生成 Stable Diffusion 2.1とStable Diffusion Prompt Bookの公開
１．Stable Diffusion 2.1とStable Diffusion Prompt Bookの公開まとめ ・Discordサーバーで公開されていたStable Diffusion 2.1が一般公開される ・Stable Diffu...
画像生成 Stable Diffusion 2.0でDreamBoothを試す
１．Stable Diffusion 2.0でDreamBoothを試すまとめ ・Stable Diffusion 2.0として公開されたモデルは全部で５種類ある ・画像生成用にも2種類あり、そのうちBaseモデルの解像度は従来と同じ ・B...
画像生成 Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能
１．Stable Diffusionで自分の好きなキャラクターにハロウィンコスプレをしてもらう事も可能まとめ ・世の中はハロウィン！仮装！コスプレ！乗るしかない、このビッグウェーブに！ ・画像生成人工知能で風の谷のナウシカに人気作品のコスプ...
画像生成 MUSIQ:フルサイズ画像で美観評価と技術的品質評価を行う(1/2)
１．MUSIQ:フルサイズ画像で美観評価と技術的品質評価を行う(1/2)まとめ ・画像の品質を自動で評価するモデルは従来はCNNベースのものが主流であった ・CNN手法では入力画像を固定サイズにリサイズする制約を持つ場合が多い ・MUSIQ...
アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(2/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(2/2)まとめ ・３つの損失関数を組み合わせて鮮明さと画像忠実度を大幅に向上させている ・FILMは画像間に100画素程度の大きな差があっても鮮明な画像を生成可能 ・小さな動きや中程度...
アプリケーション Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする
１．Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にするまとめ ・stable diffusionで生成した画像はノイズや細かい部分が崩れているケースがある ・修正した画像に更に美麗...