什么？ GAN

对于 GANs  的发展，或许可行的一个策略是，先占据图像和视频领域的市场，然后再扩张到其他领域。比如，模拟的数据集能用于 HPC（高性能计算机群）的应用程序。

但基础设施和软件的协同发展，什么时候才能适配更多的应用还不得而知。即便如此， GANs 的作用和影响力也是十分瞩目，它足以完成专业的复杂工作，为 AI 的下一个阶段做足准备。

不熟悉的人会存在疑问，为什么已经有了很多成熟的机器学习（ ML ） 方法，还要去费力研究 GANs ？

事实上， GANs 取得的成果，胜过了简单的识别和分类方法，它是基于参考或样本生成输出，而结果却不同凡响。

从功能上讲，GANs 与其他卷积神经网络很相近。GAN 中的判别器的核心计算类似于基本图像分类器，而生成器类似于产生内容的卷积神经网络。

GAN 是由两个的深度学习网络组成：生成网络和判别网络，其实是 ML 中已有的概念，但它们却以新的方式协同工作，这也是 GANs 的独特之处。

在进行图形类工作时，生成器获取数据集并尝试将其转换为图像，例如，它会通过数据合成图像，然后传递给判别器，由判别器给出一个判定，以区分出图片是“真实的”或“伪造的”。

生成器从判别器的反馈中学习它的弱点，二者在相互博弈中取得更好的效果。但这样的方式使训练所需的计算也更复杂，同时也会面临新的困难。

GANs 面临的困难

GANs 的性能优良，但充分利用起来也不容易。比如会遭遇模式崩溃，这将导致训练和反馈过程的不稳定。

另一个常见问题是，对抗中的一个网络压倒了另一个。例如，生成器产生了让判别器无法分辨的图像，这种情况下，生成器就无法得到好的反馈，进而无法得到有效的学习。

所幸的是对抗失衡的问题能够及时被调整，但对硬件的高要求，就没那么容易处理。

训练一个简单的神经网络需要一定的算力，所以 GAN 会给系统带来压力，尤其是在内存方面。

在只有 CPU 的机器上很难胜任此类工作，一旦要用到 GPU，就要面对现实中资源有限的问题。

Nvidia 的应用 ML 副总裁 Bryan Catanzaro 说到，“ GANs 需要更高的计算能力，而基础设施方面也正在向其看齐。使用 GANs 时，你需要有更多的数据流量，因为这些模型会非常庞大并且有很多参数，所以训练需要大量的算力和内存。”

“我们训练时，许多 GAN 都受到内存限制，即使只训练一到两个批量大小的模型，也会填满整个 GPU 内存，因为模型通常都很大。”

好 GANs 配好鞍

Catanzaro 补充到，“在训练时建立一个更大的系统会很有帮助，此外分批次在多个 GPU 也很有价值。但这需要有强大 GPU 中心互连，比如在 DGX-1 上用来做视频 GANs 的 NVlink ”。

在这个方面，他们所做的用于游戏交互式视频生成的工作，展示了 GANs 的优秀性能， GAN 能够提供近乎实时动态的生成环境。

他也提到了 DGX-2，“一旦准备就绪，将会加速我们的工作。”

Nvidia 很钟情于 GANs 在视频合成方面的研究，但对他们而言，在 GPU 上运行大模型的也不是一项轻松的任务。

“我们关心图形问题，致力于使用它们制作视频游戏，这是创建内容一个很好的方式，通过训练现实世界的视频，就能轻松地创建出虚拟世界。”

“但这个过程也很复杂，尤其是视频 GANs ，因为这不仅要生成当下的图像，还要生成一系列与之相关的图像。这要求有更好的存储器和计算性能。”

比如提到 GANs  在药物方面的一些应用，就有人指出，这些过程中，除了对抗网络之外，还需要强化学习组件以及判别器的反馈，最终导致基础设施的性能提升。

药物初创公司 Insilico Medicine 是行业里的佼佼者，他们使用高性能 GPU 集群来适应系统中的模型，虽然取得了一些成功，但要更进一步，就需要更大的算力，更多的内存和更好的内存带宽。

GANs 的未来

“任何规模的 GANs 均能用在图像和视频生成以外的领域中，但在广泛应用之前，硬件和软件方面的限制都需要得到解决，这对当下来说还为时尚早。” Catanzaro 说到。

“有人尝试将 GANs 用在其他地方，比如文本和音频类应用程序，但结果并不像图像和视频那样优异。”

这恰恰也说明了，在尝试之前很难证明什么是有效的。

“就目前而言，GANs 在视觉领域取得了巨大成功，这也是它在医学成像中占据上风的原因。”Catanzaro 补充道。

不出意外，会有更多公司将在游戏或内容生成中作出探索，未来 GANs 的应用也会扩大到其他应用空间，但这个未来有多远，谁也无法预测。

对于 GANs 的研究，似乎每天都会有新的一些观点和进展，但缺乏能在硬件上高效运行的应用程序，也许会造成出力不讨好的局面。

不过，从 AI 的发展可以看到，不断的进行优化和调整，可能会在短期内将遥远的技术带进我们的视野里。

是时候去 GAN 了

由于 GPU 是当下主要的训练平台，Nvidia 似乎正在引领 GANs 的开创性浪潮，但扫兴的是，即便他们拥有最好的 DGX 系统，这仍旧是一项有挑战的任务。

不难预测，在未来的图形和游戏方面，拥有雄厚实力的 Nvidia ，可能会改变游戏规则。

但看到 GPU 从消费者的游戏装备，一跃成为超级计算机的动力加速器，也许我们能学到的是，不能因为一项技术只带来好的游戏体验，就在轻视对它的研究。

总而言之，新的一年，除了视频和图像创作上，期望会在更多领域看到 GANs 的英姿 。

当然，在使用 GANs 时，你也许要先配备好足够的硬件环境。那么，就不说了，去 GAN 吧！祝你好运~

转载自公众号 超神经HyperAI，原文地址