１．Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にするまとめ
・stable diffusionで生成した画像はノイズや細かい部分が崩れているケースがある
・修正した画像に更に美麗にするツールの有名所にReal-ESRGANとSwinIRがある
・どちらも優秀だがSwinIRの方がやや綺麗な反面、サイズと計算に時間がかかる
２．Real-ESRGANとSwinIRの比較
stable diffusion等の人工知能で生成したイラストには少しノイズが載っていたり細かい部分が崩れているケースがあるため、もう少し綺麗にしたいと感じる時もあるかもしれません。
そういった要望に応えるために、現在、様々なツールが出ていますが、画像の解像度を上げる事が出来る有名なオープンソースソフトウェアであるReal-ESRGANとSwinIRを試してみました。
結論として、Real-ESRGANもSwinIRも十分綺麗で高性能です。
敢えて優劣をつけるならば、個人的な好みとしてはSwinIRの方がやや綺麗かな、と感じましたが、Real-ESRGANに比べてSwinIRの方が画像サイズが大きくなり、計算に時間がかかる傾向がありました。Real-ESRGANはアニメ系のデータに特化して学習した軽量モデルなども公開されているため、二次元イラスト特化であればReal-ESRGANを選ぶのは十分ありと思います。
以下、左からStable Diffusion DreamBoothで作成した元画像とSwinIR、及びReal-ESRGANとで4倍に解像度を上げた画像の一覧です。(クリックで元サイズに拡大します)
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
元画像にノイズが載ってしまっている場合は解像度アップで綺麗になります。
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
元画像に特にノイズが載ってない場合はstable diffusionで十分綺麗です。
| Stable Diffusion 512×512 | SwinIR 2048×2048 | Real-ESRGAN 2048×2048 |
 |
 |
 |
３．Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする関連リンク
１）github.com
JingyunLiang / SwinIR
xinntao / Real-ESRGAN
