识别莫奈的绘画比绘制莫奈的绘画更容易。与判别模型(处理数据)相比,生成模型(创建数据)被认为更难。训练GAN也很难。本文是GAN系列的一部分,我们将研究为什么培训如此难以捉摸。通过这项研究,我们了解了一些驱动许多研究人员方向的基本问题。我们将研究一些分歧,以便我们知道研究可能会去哪里。在研究这些问题之前,让我们快速回顾一下GAN方程。

GAN

GAN 使用正态或均匀分布对噪声z进行采样,并利用深度网络生成器G来创建图像x(x = G(z))

GAN生成水杯

在GAN中,我们添加一个鉴别器来区分鉴别器输入是真实的还是生成的。它输出一个值D(x)来估计输入是真实的机会。

GAN的逻辑

目标函数和渐变

GAN被定义为具有以下目标函数的极小极大游戏。

GAN被定义为具有以下目标函数的极小极大游戏

下图总结了我们如何使用相应的梯度训练鉴别器和发生器。

如何使用相应的梯度训练鉴别器和发生器

GAN问题

许多GAN型号存在以下主要问题:

  • 不收敛:模型参数振荡,不稳定,永不收敛,
  • 模式崩溃:发生器坍塌,产生有限的样品种类,
  • 衰减梯度:鉴别器太成功,发电机梯度消失,什么都不学,
  • 发电机和鉴别器之间的不平衡导致过度拟合,和
  • 对超参数选择非常敏感。

模式

实际数据分布是多模式的。例如,在MNIST中,有10个主要模式,从数字“0”到数字“9”。以下样本由两个不同的GAN生成。顶行产生所有10种模式,而第二行仅产生单一模式(数字“6”)。当仅生成几种数据模式时,此问题称为模式折叠

当仅生成几种数据模式时,此问题称为模式折叠
资源
easyai公众号

纳什均衡

GAN基于零和非合作游戏。简而言之,如果一个人赢了另一个人。零和游戏也称为minimax。你的对手希望最大化其行动,你的行动是最小化它们。在博弈论中,当鉴别器和发生器达到纳什均衡时,GAN模型收敛。这是下面的minimax方程的最佳点。

由于双方都想破坏其他球队,所以当一名球员无论对手可能做什么都不会改变其动作时,就会发生纳什均衡。考虑两个播放其中控制值Xÿ分别。玩家A希望最大化xy值,而B想要最小化它。

纳什均衡是x = y = 0。这是对手的行动无关紧要的唯一状态。这是任何对手的行动都不会改变比赛结果的唯一状态。

让我们看看我们是否可以使用梯度下降轻松找到纳什均衡。我们根据值函数V的梯度更新参数xy

其中α是学习率。当我们针对训练迭代绘制xyxy时,我们意识到我们的解决方案没有收敛。

如果我们提高学习率或更长时间训练模型,我们可以看到参数x,y在大摆动时不稳定。

我们的例子是一个很好的展示,一些成本函数不会与梯度下降收敛,特别是对于非凸游戏。我们也可以直观地看待这个问题:你的对手总是对你的行为采取对策,这使得模型更难以收敛。

在极小极大游戏中,使用梯度下降可能无法收敛成本函数。

KL-Divergence的生成模型

为了理解GAN中的收敛问题,我们将首先研究KL-divergence和JS-divergence。在GAN之前,许多生成模型创建了最大化最大似然估计MLE的模型θ 。即找到最适合训练数据的最佳模型参数。

这与最小化KL-发散KL(p,q)证明)相同,其测量概率分布q(估计分布)如何偏离预期概率分布p(实际分布)。

KL-发散不是对称的。

对于 p(x)→0的区域, KL(x)下降到 0。例如,在右下图中,红色曲线对应于 D(p,q)。降至当零 X> 2,其中 p接近0。

注意:KL(p,q)是右边红色曲线的积分
注意:KL(p,q)是右边红色曲线的积分。

有什么含义?如果发生错过某些图像模式,则KL-发散DL(p,q)惩罚发生器:惩罚高,其中p(x)> 0q(x)→0。然而,一些图像看起来不真实是可以接受的。当p(x)→0q(x)> 0时,惩罚很低。(质量较差但样品更多样)

另一方面,如果图像看起来不真实,则反向KL-发散DL(q,p)惩罚发生器:如果p(x)→0q(x)> 0则高惩罚。但它探讨了较少的变化:如果q(x)→0p(x)> 0则低惩罚。(质量更好但样品更少样)

一些生成模型(除GAN之外)使用MLE(aka KL-divergence)来创建模型。最初认为KL-发散导致较差的图像质量(模糊图像)。但要注意的是,一些经验实验可能会对这一说法提出异议。

JS-发散

JS-divergence定义为:

JS-分歧是对称的。与KL-divergence不同,它会严重惩罚糟糕的图像。(当p(x)→0q(x)> 0时)在GAN中,如果鉴别器是最优的(在区分图像中表现良好),则生成器的目标函数变为(证明):

因此优化生成器模型被视为优化JS分歧。在实验中,与使用KL-发散的其他生成模型相比,GAN产生更好的图像。按照上一节中的逻辑,早期的研究推测,优化JS-发散而不是KL-发散,可以创建更好但不太多样化的图像。然而,一些研究人员已经收回了这些说法,因为使用MLE的GAN实验产生的图像质量相似但仍然存在图像多样性问题。但是,在研究GAN训练中JS-Divergence的弱点时,已经做了很多努力。无论辩论如何,这些作品都很重要。因此,接下来我们将深入探讨JS分歧的问题。

JS-Divergence中消失的渐变

回想一下,当鉴别器是最优的时,发生器的目标函数是:

发生了JS-发散梯度什么当数据分布q发电机的图像并不与地面真相匹配p实像。让我们考虑一个例子,其中pq是高斯分布的,p的平均值是零。让我们用不同的方法考虑q来研究JS(p,q)的梯度。

这里,我们绘制pq之间的JS-发散JS(p,q),其中q的范围从0到30.如下所示,JS-发散的梯度从q1消失到q3。当这些地区的成本饱和时,GAN发电机将学会极其缓慢。特别是在早期训练中,pq是非常不同的,并且发生器学习非常慢。

不稳定的渐变

由于梯度消失,原始GAN论文提出了另一种成本函数来解决梯度消失问题。

根据Arjovsky的另一篇研究论文,相应的梯度是:

它包括一个反向 KL-发散项,Arjovsky使用它来解释为什么GAN与基于KL-发散的生成模型相比具有更高的质量但更少的图像。但同样的分析声称梯度波动并导致模型不稳定。为了说明这一点,Arjovsky冻结发电机并持续训练判别器。随着更大的变体,发电机的梯度开始增加。

资源

上面的实验不是我们训练GAN的方式。然而,在数学上,Arjovsky显示第一个GAN发生器的目标函数具有消失的梯度,而替代成本函数具有波动的梯度,导致模型的不稳定性。自最初的GAN论文以来,寻找新的成本函数,如LSGAN,WGAN,WGAN-GP,BEGAN等都有淘金热……有些方法基于新的数学模型,其他方法基于直觉通过实验备份。目标是找到具有更平滑和非消失梯度的成本函数。

然而,2017年谷歌脑论文“GAN创建平等?”声称最后,我们没有发现任何经过测试的算法始终优于原始算法的证据。

如果任何新提出的成本函数在提高图像质量方面取得了巨大成功,我们就不会有这种争论。关于Arjovsky数学模型中原始成本函数的世界末日图片也没有完全实现。但我会谨慎地提醒读者过早宣布成本函数并不重要。我可以在这里找到我对Google Brain论文的看法。我的看法是什么?训练GAN很容易失败。而不是在开始时尝试许多成本函数,首先调试您的设计和代码。接下来尝试调整超参数,因为GAN模型对它们很敏感。在随机尝试成本函数之前这样做。

为什么模式在GAN崩溃?

模式崩溃是GAN中最难解决的问题之一。彻底崩溃并不常见,但经常发生部分崩溃。下面带有相同下划线颜色的图像看起来相似,模式开始折叠。

源代码修改 

让我们看看它是如何发生的。GAN生成器的目标是创建可以最大程度地欺骗鉴别器D的图像。

但是让我们考虑一个极端情况,即G在没有更新D的情况下进行广泛训练。生成的图像将收敛以找到最佳图像x *,该图像最愚弄D从鉴别器角度来看最逼真的图像。在这个极端情况下,x *将独立于z

这是坏消息。模式折叠为单点。与z相关的梯度接近零。

当我们在鉴别器中重新开始训练时,检测生成图像的最有效方法是检测这种单一模式。由于发生器已经对z的影响不敏感,因此来自鉴别器的梯度可能会将单点推到下一个最脆弱的模式。这不难发现。发电机在训练中产生这种不平衡的模式,这会降低其检测其他模式的能力。现在,两个网络都过度装配,以利用短期对手的弱点。这变成了猫捉老鼠的游戏,模型不会收敛。

在下图中,Unroll GAN设法生成所有8种预期的数据模式。第二行显示另一个GAN,当鉴别器赶上时,模式折叠并旋转到另一个模式。

资源

在训练期间,不断更新鉴别器以检测对手。因此,发电机不太可能过度装配。在实践中,我们对模式崩溃的理解仍然有限。我们上面的直观解释可能过于简单了。通过经验实验开发并验证了缓解方法。然而,GAN训练仍然是一个启发式过程。部分崩溃仍然很常见。

但模式崩溃并非都是坏消息。在使用GAN的样式传输中,我们很乐意将一个图像转换为一个好的图像,而不是找到所有变体。实际上,局部模式崩溃的专业化有时会产生更高质量的图像。但模式崩溃仍然是GAN要解决的最重要问题之一。

超参数和培训

如果没有好的超参数,没有成本函数可以工作,调整它们需要时间和耐心。新的成本函数可能会引入具有敏感性能的超参数。超参数调整需要耐心。如果不花时间在超参数调整上,任何成本函数都无法工作。

鉴别器和发生器之间的平衡

非收敛和模式崩溃通常被解释为鉴别器和发生器之间的不平衡。显而易见的解决方案是平衡他们的训练以避免过度拟合。然而,很少取得进展,但并非因为缺乏尝试。一些研究人员认为,这不是一个可行或理想的目标,因为良好的鉴别器可以提供良好的反馈。因此,一些注意力转移到具有非消失梯度的成本函数。

成本与图像质量

在判别模型中,损失测量预测的准确性,并使用它来监控培训的进度。但是,与对手相比,GAN的损失衡量了我们的表现。通常,发电机成本增加但图像质量实际上正在提高。我们回过头来手动检查生成的图像以验证进度。这使得模型比较更难以导致在单次运行中挑选最佳模型的困难。它还使调整过程复杂化。

进一步阅读

现在您听到了问题,您可能希望听到解决方案。我们提供两种不同的文章。第一个提供解决方案的关键摘要。GAN – 对GAN歹徒的综合评论(第二部分)
本文研究了GAN研究在改进GAN方面的动机和方向。通过在…media.com中查看它们

如果你想要更深入,第二个将有更深入的讨论:GAN – 改善GAN性能的方法与
其他深度网络相比,GAN模型在以下方面可能会受到严重影响。medium.com

如果你想进一步研究梯度和稳定性问题的数学模型,下面的文章将详细阐述它。但要注意,方程式可能看起来势不可挡。但是,如果你不害怕方程式,那么就可以对它们的一些主张提供很好的推理。GAN – GAN成本函数有什么问题?
我们努力为深度学习提供数学模型。但通常情况下,我们并没有成功,而是回到了…medium.com

参考

迈向培养生成性对抗网络的原则方法

用于训练GAN的改进技术

NIPS 2016教程:生成性对抗网络

生成性对抗网络

GAN是否平等?一项大规模的研究

easyai公众号