2019年4月時点のGANに関する未解決な問題(2/7)

１．2019年4月時点のGANに関する未解決な問題(2/7)まとめ

・GANによるモデル化が簡単なデータセットと難しいデータセットの違いも経験則的にしかわかっていない
・MNISTとCelebAのような非常に規則的なデータはGANによるモデル化がやりやすい
・GANによるモデル化の条件を調べるためには合成データセットと既存の理論を応用する手法が考えられる

２．GANがモデル化できる分布の条件

以下、distill.pubより「Open Questions about Generative Adversarial Networks」の意訳です。元記事は、2019年4月9日、Augustus Odenaさんによる投稿です。

GANはどのような種類の分布をモデル化できますか？

ほとんどのGANの研究は画像合成に焦点を当てています。特に、人々は（Deep Learningコミュニティにとって）標準的な一握りの画像データセットでGANを訓練します。MNIST、CIFAR-10、STL-10、CelebA、そしてImagenet。これらのデータセットのうちどれをモデル化するのが最も簡単か？について俗説がいくつかあります。特に、MNISTとCelebAは「非常に規則的」であるため、Imagenet、CIFAR-10、またはSTL-10よりも簡単であると考えられています。

他の人たちは、「沢山の種類の画像が存在する事がImageNetを使った画像合成をGANにとって困難なものにする」と述べています。これらの観察結果は、CelebAを使った最先端の画像合成モデルがImagenetの最先端の画像合成モデルよりもかなり説得力のある画像を生成するという経験的事実によって裏付けられています。

ただし、これまでのところより大きく複雑なデータセットを使ってGANをトレーニングすると言う面倒で煩わしいプロセスを通じて、これらの結論に到達しなければなりませんでした。この結論も、たまたまそこにあった物体認識のためのデータセットに対して、GANがどのように機能するかを調べた結果です。

他の科学と同様に、私たちは実験的観察を説明する簡単な理論を持ちたいです。理想は、生成モデルを実際に訓練することなくデータセットを調べ、いくつかの計算を実行し、「このデータセットはGANにとっては簡単にモデル化できますが、VAE(Variational Autoencoder)では簡単にモデル化できない」と言えるようになる事です。

このトピックに関してはある程度の進歩がありましたが、もっと多くのことができると思います。そして、私達は今、2つ目の課題を述べることができます。

ある分布が与えられた時、GANがその分布をモデル化する事ががどれほど難しいかについて事前に知る事は出来るでしょうか？

次のような質問もするかもしれません。「分布のモデル化とは何を意味しますか？」

GANが現在扱える分布だけで満足していますか？それとも真の密度モデルも対象に含めたいですか？GANが決してモデル化できない分布はありますか？原理的にはGANで学習可能でも、合理的な範囲の計算機資源では効率的に学習できない分布はありますか？これらの質問に対する答えは、GANと他の生成モデルで実際には異なるのでしょうか？

これらの質問に答えるための2つの戦略を提案します。

1)合成データセット
どのような特徴が学習可能性に影響するかを調べるために合成データセットを研究することができます。例えば、論文「Are GANs Created Equal? A Large-Scale Study」では、著者は合成三角形のデータセットを作成します。私達はこの方面が十分に調査されていないと感じます。合成データセットは、連結性や滑らかさなどの関心のある量によってパラメータ化することもでき、体系的な研究を可能にします。このようなデータセットは、他の種類の生成モデルを研究するのにも役立ちます。

2)既存の理論結果を応用
既存の理論的な結果を利用して、データセットのさまざまな特性を説明するために仮定を変更することを試みることができます。たとえば、与えられたユニモーダルデータ分布(山型に盛り上がった部分が一つだけあるグラフのイメージ)を適用してGANの結果を得て、データ分布をマルチモーダル(山型に盛り上がった部分が複数あるグラフのイメージ)になったときにそれらに何が起こるかを見ることができます。