アプリケーション DALL·E Flow：複数のモデルを組み合わせて入力文に基づいたHD画像を作成(2/2)
１．DALL·E Flow：複数のモデルを組み合わせて入力文に基づいたHD画像を作成(2/2)まとめ ・DALL-E Flowのサーバーは、ピーク時に21GBのVRAMを持つ1つのGPUを必要とする ・12GBのGPUではDALL-E Fl...
image generation
アプリケーション 
学習手法 30億のパラメータを持つ巨大モデルを学習させた際の知見
１．30億のパラメータを持つ巨大モデルを学習させた際の知見まとめ ・非常に巨大なモデルを学習させる際は混合精度と全精度で違いが出る可能性がある ・通常の学習では問題は発生しないが学習の収束が見込めるトレーニングの後半に出る ・DALL·E ...
モデル ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(2/2)
１．ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(2/2)まとめ ・VIMは犬や猫など与えられた特定のクラスの画像を合成するクラス条件付き生成が可能 ・画像理解タスクでも分類精度を60.3%(iGPT-L)から...
モデル ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)
１．ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)まとめ ・事前学習は入力信号が文章である事を仮定しないので量子化すれば画像も扱う事が可能 ・画像を離散トークンにエンコードし、それをCNNまたはTran...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)まとめ ・階層的アーキテクチャは空間的な関係を保持しておりCAMを適用して解釈が可能 ・モデルの収束速度が...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(1/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(1/6)まとめ ・ここ数年でモデルのパラメータ数は数十億規模から数千億または数兆にスケールアップした ・様々なタスクに対して最適化された部分のみを活性化す...
モデル 拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)
１．拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)まとめ ・CDMはSR3を使って高解像度の自然画像を生成できるクラス条件付き拡散モデル ・複数の拡散モデルを繋ぎ合わせて低解像度から徐々に解像度を上げて高品質画像を生成 ・C...
学習手法 XMC-GAN：クロスモーダルな対照学習でテキストから画像を生成(2/2)
１．XMC-GAN：クロスモーダルな対照学習でテキストから画像を生成(2/2)まとめ ・XMC-GAN は各データセットで最先端のスコアを実現し他の手法より評価者に好まれた ・特により複雑なOpenImagesでもXMC-GAN は高品質の...
学習手法 GANのトレーニングに役立つ10のヒント
１．GANのトレーニングに役立つ10のヒントまとめ ・GANのトレーニングが突然不安定になっても品質に留意しつつ続ける事が望ましい ・モード崩壊は低い学習率でトレーニングを最初からやり直すと上手く行く事がある ・スペクトル正規化はGANトレ...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)まとめ ・知覚損失(perceptual loss)を使ってChimera Painter用のGANの重み調整 ・これらの重みは最終的に生成された画像の見栄え...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)まとめ ・GANをトレーニングするために、三次元の生き物モデルを利用して画像データセットを作成 ・合成生物を生成するためには新しいファンタジー風のデータセット...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)まとめ ・ビデオゲーム用の画像作成時はアイデアをすばやく反復して大量の画像を作成する ・アーティストが人間のアシスタントのように振る舞う絵筆を持ったら生産性が...