Evolutionary Generative Adversarial Networks

[raxman0721]

一言でいうと

Variation(Mutation)、Evaluation、Selectionを繰り返しながら、generatorが進化していく。
複数の目的関数を使い、それぞれを評価して、いいスコアの物だけ残すを繰り返す。

論文リンク

https://arxiv.org/pdf/1803.00657.pdf

著者/所属機関

Chaoyue Wang, Chang Xu, Xin Yao, Dacheng Tao

投稿日付(yyyy/MM/dd)

2018/03/01

概要

GANは不安定で、mode collapseになる問題がある。
generatorとdiscriminatorを同時に訓練するのではなく、generatorをdiscriminatorに合わせて変化させていくことで、安定的で効率的な訓練(進化)が出来る。

新規性・差分

進化論的に説明された論文でgeneratorに焦点をあてて、variation,evaluation,selectionを繰り返して精度を上げていく所。

手法

目的関数は以下の3つを使用(mutation)
Minimax mutation(従来のGAN):JSdivergenceを最小化するのが目的。勾配消失問題がある。弁別器の性能が良すぎると勾配消失するが、生成器と競っているときはいい感じの勾配を流す。

Heuristic mutation:こっちは勾配消失はしづらいが、トレーニングが不安定になったり、品質が低下することがある。

Least-squares mutation(LS-GAN):最小二乗法。勾配消失もしづらいし、トレーニングが不安定になったりもしづらいのでちょうど良い。

evaluation
品質と多様性に注目して評価する。

結果

DCGANと比較
mode collapseの問題を図ることが出来る2DGaussian mixture distributionsを使用して各種比較

Inception scoreで比較した場合

latent walkをしてもいい感じに変換していて、mode collapseが起きていないからいい感じ。

実装

theano