什麼？ GAN

對於 GANs  的發展，或許可行的一個策略是，先佔據圖像和視頻領域的市場，然後再擴張到其他領域。比如，模擬的數據集能用於 HPC（高性能計算機群）的應用程序。

但基礎設施和軟件的協同發展，什麼時候才能適配更多的應用還不得而知。即便如此， GANs 的作用和影響力也是十分矚目，它足以完成專業的複雜工作，為 AI 的下一個階段做足準備。

不熟悉的人會存在疑問，為什麼已經有了很多成熟的機器學習（ ML ） 方法，還要去費力研究 GANs ？

事實上， GANs 取得的成果，勝過了簡單的識別和分類方法，它是基於參考或樣本生成輸出，而結果卻不同凡響。

從功能上講，GANs 與其他卷積神經網絡很相近。GAN 中的判別器的核心計算類似於基本圖像分類器，而生成器類似於產生內容的卷積神經網絡。

GAN 是由兩個的深度學習網絡組成：生成網絡和判別網絡，其實是 ML 中已有的概念，但它們卻以新的方式協同工作，這也是 GANs 的獨特之處。

在進行圖形類工作時，生成器獲取數據集並嘗試將其轉換為圖像，例如，它會通過數據合成圖像，然後傳遞給判別器，由判別器給出一個判定，以區分出圖片是「真實的」或「偽造的」。

生成器從判別器的反饋中學習它的弱點，二者在相互博弈中取得更好的效果。但這樣的方式使訓練所需的計算也更複雜，同時也會面臨新的困難。

GANs 面臨的困難

GANs 的性能優良，但充分利用起來也不容易。比如會遭遇模式崩潰，這將導致訓練和反饋過程的不穩定。

另一個常見問題是，對抗中的一個網絡壓倒了另一個。例如，生成器產生了讓判別器無法分辨的圖像，這種情況下，生成器就無法得到好的反饋，進而無法得到有效的學習。

所幸的是對抗失衡的問題能夠及時被調整，但對硬件的高要求，就沒那麼容易處理。

訓練一個簡單的神經網絡需要一定的算力，所以 GAN 會給系統帶來壓力，尤其是在內存方面。

在只有 CPU 的機器上很難勝任此類工作，一旦要用到 GPU，就要面對現實中資源有限的問題。

Nvidia 的應用 ML 副總裁 Bryan Catanzaro 說到，「 GANs 需要更高的計算能力，而基礎設施方面也正在向其看齊。使用 GANs 時，你需要有更多的數據流量，因為這些模型會非常龐大並且有很多參數，所以訓練需要大量的算力和內存。」

「我們訓練時，許多 GAN 都受到內存限制，即使只訓練一到兩個批量大小的模型，也會填滿整個 GPU 內存，因為模型通常都很大。」

好 GANs 配好鞍

Catanzaro 補充到，「在訓練時建立一個更大的系統會很有幫助，此外分批次在多個 GPU 也很有價值。但這需要有強大 GPU 中心互連，比如在 DGX-1 上用來做視頻 GANs 的 NVlink 」。

在這個方面，他們所做的用於遊戲交互式視頻生成的工作，展示了 GANs 的優秀性能， GAN 能夠提供近乎實時動態的生成環境。

他也提到了 DGX-2，「一旦準備就緒，將會加速我們的工作。」

Nvidia 很鍾情於 GANs 在視頻合成方面的研究，但對他們而言，在 GPU 上運行大模型的也不是一項輕鬆的任務。

「我們關心圖形問題，致力於使用它們製作視頻遊戲，這是創建內容一個很好的方式，通過訓練現實世界的視頻，就能輕鬆地創建出虛擬世界。」

「但這個過程也很複雜，尤其是視頻 GANs ，因為這不僅要生成當下的圖像，還要生成一系列與之相關的圖像。這要求有更好的存儲器和計算性能。」

比如提到 GANs  在藥物方面的一些應用，就有人指出，這些過程中，除了對抗網絡之外，還需要強化學習組件以及判別器的反饋，最終導致基礎設施的性能提升。

藥物初創公司 Insilico Medicine 是行業里的佼佼者，他們使用高性能 GPU 集群來適應系統中的模型，雖然取得了一些成功，但要更進一步，就需要更大的算力，更多的內存和更好的內存帶寬。

GANs 的未來

「任何規模的 GANs 均能用在圖像和視頻生成以外的領域中，但在廣泛應用之前，硬件和軟件方面的限制都需要得到解決，這對當下來說還為時尚早。」 Catanzaro 說到。

「有人嘗試將 GANs 用在其他地方，比如文本和音頻類應用程序，但結果並不像圖像和視頻那樣優異。」

這恰恰也說明了，在嘗試之前很難證明什麼是有效的。

「就目前而言，GANs 在視覺領域取得了巨大成功，這也是它在醫學成像中佔據上風的原因。」Catanzaro 補充道。

不出意外，會有更多公司將在遊戲或內容生成中作出探索，未來 GANs 的應用也會擴大到其他應用空間，但這個未來有多遠，誰也無法預測。

對於 GANs 的研究，似乎每天都會有新的一些觀點和進展，但缺乏能在硬件上高效運行的應用程序，也許會造成出力不討好的局面。

不過，從 AI 的發展可以看到，不斷的進行優化和調整，可能會在短期內將遙遠的技術帶進我們的視野里。

是時候去 GAN 了

由於 GPU 是當下主要的訓練平台，Nvidia 似乎正在引領 GANs 的開創性浪潮，但掃興的是，即便他們擁有最好的 DGX 系統，這仍舊是一項有挑戰的任務。

不難預測，在未來的圖形和遊戲方面，擁有雄厚實力的 Nvidia ，可能會改變遊戲規則。

但看到 GPU 從消費者的遊戲裝備，一躍成為超級計算機的動力加速器，也許我們能學到的是，不能因為一項技術只帶來好的遊戲體驗，就在輕視對它的研究。

總而言之，新的一年，除了視頻和圖像創作上，期望會在更多領域看到 GANs 的英姿 。

當然，在使用 GANs 時，你也許要先配備好足夠的硬件環境。那麼，就不說了，去 GAN 吧！祝你好運~

轉載自公眾號 超神經HyperAI，原文地址