什麼? GAN
對於 GANs 的發展,或許可行的一個策略是,先佔據圖像和視頻領域的市場,然後再擴張到其他領域。比如,模擬的數據集能用於 HPC(高性能計算機群)的應用程序。
但基礎設施和軟件的協同發展,什麼時候才能適配更多的應用還不得而知。即便如此, GANs 的作用和影響力也是十分矚目,它足以完成專業的複雜工作,為 AI 的下一個階段做足準備。
不熟悉的人會存在疑問,為什麼已經有了很多成熟的機器學習( ML ) 方法,還要去費力研究 GANs ?
事實上, GANs 取得的成果,勝過了簡單的識別和分類方法,它是基於參考或樣本生成輸出,而結果卻不同凡響。
從功能上講,GANs 與其他卷積神經網絡很相近。GAN 中的判別器的核心計算類似於基本圖像分類器,而生成器類似於產生內容的卷積神經網絡。
![](https://easy-ai.oss-cn-shanghai.aliyuncs.com/img/006tNc79gy1g04j8nar2oj30u009c75w.jpg)
GAN 是由兩個的深度學習網絡組成:生成網絡和判別網絡,其實是 ML 中已有的概念,但它們卻以新的方式協同工作,這也是 GANs 的獨特之處。
在進行圖形類工作時,生成器獲取數據集並嘗試將其轉換為圖像,例如,它會通過數據合成圖像,然後傳遞給判別器,由判別器給出一個判定,以區分出圖片是「真實的」或「偽造的」。
生成器從判別器的反饋中學習它的弱點,二者在相互博弈中取得更好的效果。但這樣的方式使訓練所需的計算也更複雜,同時也會面臨新的困難。
GANs 面臨的困難
GANs 的性能優良,但充分利用起來也不容易。比如會遭遇模式崩潰,這將導致訓練和反饋過程的不穩定。
另一個常見問題是,對抗中的一個網絡壓倒了另一個。例如,生成器產生了讓判別器無法分辨的圖像,這種情況下,生成器就無法得到好的反饋,進而無法得到有效的學習。
所幸的是對抗失衡的問題能夠及時被調整,但對硬件的高要求,就沒那麼容易處理。
訓練一個簡單的神經網絡需要一定的算力,所以 GAN 會給系統帶來壓力,尤其是在內存方面。
在只有 CPU 的機器上很難勝任此類工作,一旦要用到 GPU,就要面對現實中資源有限的問題。
![](https://easy-ai.oss-cn-shanghai.aliyuncs.com/img/006tNc79gy1g04j8zotxxj30u00gwdha.jpg)
Nvidia 的應用 ML 副總裁 Bryan Catanzaro 說到,「 GANs 需要更高的計算能力,而基礎設施方面也正在向其看齊。使用 GANs 時,你需要有更多的數據流量,因為這些模型會非常龐大並且有很多參數,所以訓練需要大量的算力和內存。」
「我們訓練時,許多 GAN 都受到內存限制,即使只訓練一到兩個批量大小的模型,也會填滿整個 GPU 內存,因為模型通常都很大。」
好 GANs 配好鞍
Catanzaro 補充到,「在訓練時建立一個更大的系統會很有幫助,此外分批次在多個 GPU 也很有價值。但這需要有強大 GPU 中心互連,比如在 DGX-1 上用來做視頻 GANs 的 NVlink 」。
在這個方面,他們所做的用於遊戲交互式視頻生成的工作,展示了 GANs 的優秀性能, GAN 能夠提供近乎實時動態的生成環境。
他也提到了 DGX-2,「一旦準備就緒,將會加速我們的工作。」
![](https://easy-ai.oss-cn-shanghai.aliyuncs.com/img/006tNc79gy1g04j97h4x3j30hs0a0mxy.jpg)
Nvidia 很鍾情於 GANs 在視頻合成方面的研究,但對他們而言,在 GPU 上運行大模型的也不是一項輕鬆的任務。
「我們關心圖形問題,致力於使用它們製作視頻遊戲,這是創建內容一個很好的方式,通過訓練現實世界的視頻,就能輕鬆地創建出虛擬世界。」
「但這個過程也很複雜,尤其是視頻 GANs ,因為這不僅要生成當下的圖像,還要生成一系列與之相關的圖像。這要求有更好的存儲器和計算性能。」
比如提到 GANs 在藥物方面的一些應用,就有人指出,這些過程中,除了對抗網絡之外,還需要強化學習組件以及判別器的反饋,最終導致基礎設施的性能提升。
藥物初創公司 Insilico Medicine 是行業里的佼佼者,他們使用高性能 GPU 集群來適應系統中的模型,雖然取得了一些成功,但要更進一步,就需要更大的算力,更多的內存和更好的內存帶寬。
GANs 的未來
「任何規模的 GANs 均能用在圖像和視頻生成以外的領域中,但在廣泛應用之前,硬件和軟件方面的限制都需要得到解決,這對當下來說還為時尚早。」 Catanzaro 說到。
「有人嘗試將 GANs 用在其他地方,比如文本和音頻類應用程序,但結果並不像圖像和視頻那樣優異。」
這恰恰也說明了,在嘗試之前很難證明什麼是有效的。
「就目前而言,GANs 在視覺領域取得了巨大成功,這也是它在醫學成像中佔據上風的原因。」Catanzaro 補充道。
![](https://easy-ai.oss-cn-shanghai.aliyuncs.com/img/006tNc79gy1g04j9jabg7j30ga09bq3z.jpg)
不出意外,會有更多公司將在遊戲或內容生成中作出探索,未來 GANs 的應用也會擴大到其他應用空間,但這個未來有多遠,誰也無法預測。
對於 GANs 的研究,似乎每天都會有新的一些觀點和進展,但缺乏能在硬件上高效運行的應用程序,也許會造成出力不討好的局面。
不過,從 AI 的發展可以看到,不斷的進行優化和調整,可能會在短期內將遙遠的技術帶進我們的視野里。
是時候去 GAN 了
由於 GPU 是當下主要的訓練平台,Nvidia 似乎正在引領 GANs 的開創性浪潮,但掃興的是,即便他們擁有最好的 DGX 系統,這仍舊是一項有挑戰的任務。
不難預測,在未來的圖形和遊戲方面,擁有雄厚實力的 Nvidia ,可能會改變遊戲規則。
但看到 GPU 從消費者的遊戲裝備,一躍成為超級計算機的動力加速器,也許我們能學到的是,不能因為一項技術只帶來好的遊戲體驗,就在輕視對它的研究。
總而言之,新的一年,除了視頻和圖像創作上,期望會在更多領域看到 GANs 的英姿 。
當然,在使用 GANs 時,你也許要先配備好足夠的硬件環境。那麼,就不說了,去 GAN 吧!祝你好運~
轉載自公眾號 超神經HyperAI,原文地址
Comments