2019年4月時点のGANに関する未解決な問題(4/7)

１．2019年4月時点のGANに関する未解決な問題(4/7)まとめ

・GANが収束する条件についてはまだ良くわかっていないがGANだけの問題ではない
・GAN固有の問題について掘り下げるアプローチは主に３つの手法がある
・３手法ともに有望ではあるがより一層の研究が必要な箇所が残されている

２．GANが収束する条件

以下、distill.pubより「Open Questions about Generative Adversarial Networks」の意訳です。元記事は、2019年4月9日、Augustus Odenaさんによる投稿です。

GANの収束について私たちは何を言うことができますか？

GANのトレーニングは、他のニューラルネットワークのトレーニングとは異なります。反対の目的を持つ、偽物を作るジェネレータと偽物を識別するディスクリミネータを同時に最適化する必要があるのです。

論文「Gradient descent GAN optimization is locally stable」や「Which Training Methods for GANs do actually Converge?」によれば、ある非常に限定した仮定の下では、この同時最適化は局所的に安定しています。残念ながら、仮定のない完全に一般的なケースについて証明する事は困難です。

これは、ディスクリミネータ/ジェネレータの損失がそのパラメータの非凸関数であるためです。しかし、全てのニューラルネットワークにこの問題があります！同時最適化によって生じる問題だけに注目する方法がいくつかあります。

これは私達に第四の質問に導きます。

GANがグローバルに収束する事をいつ証明できるのでしょうか？
どのニューラルネットワークの収束結果をGANに応用できますか？

この問題には重要な進歩がありました。おおまかに言って、3つの既存のテクニックがあり、そのすべてが有望な結果を生み出していますが、どれも完全に研究しつくされているわけではありません。

(1)仮定を単純化する
最初の戦略は、ジェネレータとディスクリミネータについての仮定を単純化することです。

例えば、論文「Understanding GANs: the LQG Setting」の簡略化されたLGQ GAN(線形生成器、ガウスデータ、および二次元ディスクリミネータ)は、特別な手法で最適化し、且ついくつかの追加の仮定をすれば、グローバルに収束することを示せます。

何が起こるかを見るためにこれらの仮定を徐々に緩和することは有望であるように思われます。例えば、単峰型分布の仮定を緩和する事ができます。「モード崩壊(mode collapse)」は良くあるGANの病理であるため、これは自然な緩和です。

(2)通常のニューラルネットワークのテクニックを利用
2番目の戦略は、GANの収束についての質問に答えるために、通常のニューラルネットワーク(非凸型)を分析するための技法を使うことです。

例えば、「The Loss Surface of Multilayer Networks」では、ディープニューラルネットワークの非凸性は問題にならないと論じられています。損失関数の低品質の極小値はネットワークが大きくなるにつれて指数関数的にまれになるためです。

この分析は「GANスペースに持ち込む」ことができますか？実際、識別器として使用されているディープニューラルネットワークを分析し、それらがGANに適用可能かどうかを確認することは、一般的に有用な発見的手法のように思えます。

(3)ゲーム理論
最後の戦略は、ゲーム理論の概念を使用してGANトレーニングをモデル化することです。これらの技術は、ある種の近似ナッシュ均衡に確かに収束する訓練手順を生み出す事ができますが、それには法外に大量な計算機資源を必要とします。ゲーム理論の場合の「明白な」次のステップは、これらの必要リソースの制約を軽減することです。