GANにおけるラベル付きデータの必要性の低減(2/2)

１．GANにおけるラベル付きデータの必要性の低減(2/2)まとめ

・回転タスクによって意味のある特徴を学習させた後に更に学習をさせる
・これによりサンプル効率が高まり高品質なラベル付けが可能
・GANで使う様々な機能をまとめたCompare GANライブラリも公開

２．回転予測タスクによる事前学習

以下、ai.googleblog.comより「Reducing the Need for Labeled Data in Generative Adversarial Networks」の意訳です。元記事の投稿は2019年3月20日、Mario LučićさんとMarvin Ritterさんによる投稿です。

ネットワークはデータから意味的に意味のある特徴を抽出するように事前に訓練されているので（先ほどの回転予測タスクで）、この分類器をトレーニングすることは、ネットワーク全体を最初からトレーニングするよりもサンプル効率が高くなります。最後に、この分類器を使用してラベルなしデータにラベルを付けます。

モデルの品質とトレーニングの安定性をさらに向上させるために、ディスクリミネータネットワークに重要な特徴表現を習得させることをお勧めします。これは、トレーニング中に、以前に論文「Self-Supervised Generative Adversarial Networks」で紹介した補助損失(auxiliary loss)によって忘れられないものです。

これら2つの進歩と大規模なトレーニングを組み合わせることで、ImageNet合成タスクで最先端の条件付きGANがもたらされる事がFréchet Inception Distance(GANが生成する画像の品質を評価する指標)を用いて測定できます。

潜在ベクトルが与えられると、ジェネレータネットワークは画像を生成します。各行において、左端の画像と右端の画像の潜像コードとの間の線形補間は、画像空間における意味的補間をもたらします。

GANの比較：GANのトレーニングと評価のためのライブラリ
GANに関する最先端の研究は、上手に設計され、十分にテストされたコードベースに大きく依存しています。以前の結果や手法を複製することでさえも、多大な労力を必要とするためです。オープンサイエンスを促進し、研究コミュニティが最新の進歩から恩恵を受けられるようにするために、Compare GANライブラリのメジャーアップデートをリリースします。このライブラリには、損失関数、正則化および正規化スキーム、ニューラルアーキテクチャ、および現代のGANで一般的に使用されている定量的メトリック、及び以下のサポートが含まれています。

・GPU及びTPUを使ったトレーニング
・GINを使った簡易設定
・TensorFlowデータセットライブラリを介した多数のデータセット

結論と今後の研究
ラベル付きデータソースとラベルなしデータソースのギャップが拡大していることを考えると、部分的にラベル付けされたデータのみから学習できることがますます重要になっています。
私達は、自己教師と半教師の単純で強力な組み合わせがGANにとってのこのギャップを埋めるために役立つことを示しました。私たちは、自己教師は他の生成的モデリングタスクのために調査されるべき強力なアイデアであると信じています。

謝辞
この研究はチューリッヒのGoogle Brain team、ETHチューリッヒ(チューリッヒ工科大学)、UCLA(カリフォルニア大学ロサンゼルス校)との共同作業です。論文の共著者であるMichael Tschannen、Xiaohua Zhai、Olivier Bachem、Sylvain Gellyのご意見とご感想に感謝の意を表します。自己教師学習および半教師学習に関する有用なディスカッションについて、Alexander Kolesnikov氏、Lucas Beyer氏、およびAvital Oliver氏に感謝します。Compare GANライブラリーに貢献してくれたKarol KurachとMarcin Michalskiに感謝します。TPUでGANをトレーニングするための洞察について、Andy Brock、Jeff Donahue、Karen Simonyanにも感謝します。この記事で説明した研究は、Ting ChenとNeil Houlsbyと共同で研究した以前の研究「Self-Supervised Generative Adversarial Networks」にも基づいています。