什么? GAN

对于 GANs  的发展,或许可行的一个策略是,先占据图像和视频领域的市场,然后再扩张到其他领域。比如,模拟的数据集能用于 HPC(高性能计算机群)的应用程序。

但基础设施和软件的协同发展,什么时候才能适配更多的应用还不得而知。即便如此, GANs 的作用和影响力也是十分瞩目,它足以完成专业的复杂工作,为 AI 的下一个阶段做足准备。

不熟悉的人会存在疑问,为什么已经有了很多成熟的机器学习( ML ) 方法,还要去费力研究 GANs ?

事实上, GANs 取得的成果,胜过了简单的识别和分类方法,它是基于参考或样本生成输出,而结果却不同凡响。

从功能上讲,GANs 与其他卷积神经网络很相近。GAN 中的判别器的核心计算类似于基本图像分类器,而生成器类似于产生内容的卷积神经网络。

GAN 是由两个的深度学习网络组成:生成网络和判别网络,其实是 ML 中已有的概念,但它们却以新的方式协同工作,这也是 GANs 的独特之处。

在进行图形类工作时,生成器获取数据集并尝试将其转换为图像,例如,它会通过数据合成图像,然后传递给判别器,由判别器给出一个判定,以区分出图片是「真实的」或「伪造的」。

生成器从判别器的反馈中学习它的弱点,二者在相互博弈中取得更好的效果。但这样的方式使训练所需的计算也更复杂,同时也会面临新的困难。

GANs 面临的困难

GANs 的性能优良,但充分利用起来也不容易。比如会遭遇模式崩溃,这将导致训练和反馈过程的不稳定。

另一个常见问题是,对抗中的一个网络压倒了另一个。例如,生成器产生了让判别器无法分辨的图像,这种情况下,生成器就无法得到好的反馈,进而无法得到有效的学习。

所幸的是对抗失衡的问题能够及时被调整,但对硬件的高要求,就没那么容易处理。

训练一个简单的神经网络需要一定的算力,所以 GAN 会给系统带来压力,尤其是在内存方面。

在只有 CPU 的机器上很难胜任此类工作,一旦要用到 GPU,就要面对现实中资源有限的问题。

Nvidia 的应用 ML 副总裁 Bryan Catanzaro 说到,「 GANs 需要更高的计算能力,而基础设施方面也正在向其看齐。使用 GANs 时,你需要有更多的数据流量,因为这些模型会非常庞大并且有很多参数,所以训练需要大量的算力和内存。」

「我们训练时,许多 GAN 都受到内存限制,即使只训练一到两个批量大小的模型,也会填满整个 GPU 内存,因为模型通常都很大。」

好 GANs 配好鞍

Catanzaro 补充到,「在训练时建立一个更大的系统会很有帮助,此外分批次在多个 GPU 也很有价值。但这需要有强大 GPU 中心互连,比如在 DGX-1 上用来做视频 GANs 的 NVlink 」。

在这个方面,他们所做的用于游戏交互式视频生成的工作,展示了 GANs 的优秀性能, GAN 能够提供近乎实时动态的生成环境。

他也提到了 DGX-2,「一旦准备就绪,将会加速我们的工作。」

Nvidia 很钟情于 GANs 在视频合成方面的研究,但对他们而言,在 GPU 上运行大模型的也不是一项轻松的任务。

「我们关心图形问题,致力于使用它们制作视频游戏,这是创建内容一个很好的方式,通过训练现实世界的视频,就能轻松地创建出虚拟世界。」

「但这个过程也很复杂,尤其是视频 GANs ,因为这不仅要生成当下的图像,还要生成一系列与之相关的图像。这要求有更好的存储器和计算性能。」

比如提到 GANs  在药物方面的一些应用,就有人指出,这些过程中,除了对抗网络之外,还需要强化学习组件以及判别器的反馈,最终导致基础设施的性能提升。

药物初创公司 Insilico Medicine 是行业里的佼佼者,他们使用高性能 GPU 集群来适应系统中的模型,虽然取得了一些成功,但要更进一步,就需要更大的算力,更多的内存和更好的内存带宽。

GANs 的未来

「任何规模的 GANs 均能用在图像和视频生成以外的领域中,但在广泛应用之前,硬件和软件方面的限制都需要得到解决,这对当下来说还为时尚早。」 Catanzaro 说到。

「有人尝试将 GANs 用在其他地方,比如文本和音频类应用程序,但结果并不像图像和视频那样优异。」

这恰恰也说明了,在尝试之前很难证明什么是有效的。

「就目前而言,GANs 在视觉领域取得了巨大成功,这也是它在医学成像中占据上风的原因。」Catanzaro 补充道。

不出意外,会有更多公司将在游戏或内容生成中作出探索,未来 GANs 的应用也会扩大到其他应用空间,但这个未来有多远,谁也无法预测。

对于 GANs 的研究,似乎每天都会有新的一些观点和进展,但缺乏能在硬件上高效运行的应用程序,也许会造成出力不讨好的局面。

不过,从 AI 的发展可以看到,不断的进行优化和调整,可能会在短期内将遥远的技术带进我们的视野里。

是时候去 GAN 了

由于 GPU 是当下主要的训练平台,Nvidia 似乎正在引领 GANs 的开创性浪潮,但扫兴的是,即便他们拥有最好的 DGX 系统,这仍旧是一项有挑战的任务。

不难预测,在未来的图形和游戏方面,拥有雄厚实力的 Nvidia ,可能会改变游戏规则。

但看到 GPU 从消费者的游戏装备,一跃成为超级计算机的动力加速器,也许我们能学到的是,不能因为一项技术只带来好的游戏体验,就在轻视对它的研究。

总而言之,新的一年,除了视频和图像创作上,期望会在更多领域看到 GANs 的英姿 。

当然,在使用 GANs 时,你也许要先配备好足够的硬件环境。那么,就不说了,去 GAN 吧!祝你好运~

转载自公众号 超神经HyperAI,原文地址

easyai公众号