本文轉載自公眾號 人工智慧學家，原文地址

2018年已結束，現在是開始預測2019深度學習的時候了。以下是我之前對2017年和2018年的預測和回顧：

關於2017年預測和回顧。2017的預測涵蓋了硬體加速，卷積神經網路（CNN）的主導地位，元學習，強化學習，對抗性學習，無監督學習，遷移學習，以及作為組成部分的深度學習(DL)，設計模式和超越理論的實驗。

預測：

https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669

回顧：

https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669

關於2018年預測與回顧。2018年的預測涵蓋了硬體初創公司，元學習取代SGD，生成模型，自我博弈，語義差距，可解釋性，海量數據研究，教學環境，會話認知和人工智慧倫理。

預測：

https://medium.com/intuitionmachine/10-fearless-predictions-for-deep-learning-in-2018-bc74a88b11d9

回顧：

https://medium.com/intuitionmachine/2018-retrospective-on-deep-learning-predictions-1cea68825bb3

通過回顧我的預測表明，我發現我太樂觀了，高估了技術發展的速度。總的來說，一直處於一種誇大的期望狀態。事後看來，是因為忽略了一般認知的潛在複雜性。我們現在必須降低期望，並專註於有希望的領域。這些有希望的領域將逐步取得進展而不是「moon shots」(註：一個瘋狂的想法或者不大可能實現的項目)。

革命性進展應該分階段發生，我們今天遇到的是實現Interventional level的主要障礙。這並不意味著我們不能取得任何進展，而是在目前的成熟度水平中有許多懸而未決的成果，而這些成果已經準備好進行開發，DL在2019年的進展將主要圍繞這一務實的認識。

以下是我的預測，與前幾年一樣，它們可作為跟蹤DL進度的指南。

1. 深度學習硬體加速減緩

深度學習硬體加速已經減緩，脈動陣列在2017年給全世界帶來了巨大的加速增長。我們不能指望2019年計算能力的大幅提升，NVidia的圖靈核心只比Volta核心快一點。谷歌的TPUv3系統現在採用液冷，與之前的產品相比，密度更高。我不認為2019年會有任何重大的架構改進，因此不要像往年那樣大幅增加。

但是，我們將看到GraphCore和Gyrfalcon的新架構規避了內存傳輸的功率成本並支持稀疏操作，但是需要更改深度學習格式來適應這些新架構，以及需要進行新的硬體研究，這個靈感來自生物學的納米意向性。

2.無監督學習已經解決，但不是所預期的

無監督學習的思維方式都是錯誤的。LeCun的蛋糕理論是錯的，不同類型的學習關係應如下所示：

為什麼UL價值最低，難度最小？那是因為沒有目標，你可以做任何可能有效或無效的集群。最終，它歸結為基於UL嵌入的更高層的性能。UL嵌入本質上是包含豐富的先驗數據，這些先驗如何被利用取決於具有目標的上游過程。ELMO和BERT已經發現我們可以訓練用來預測（或生成）其數據的UL，這是上游任務的良好基礎。UL基本上是監督學習，其標籤已存在於數據中。簡而言之，UL已經被解決了，但並沒有像大多數從業者所期望的那樣。如果網路可以做出良好的預測或者可以生成原始數據的良好傳真，那麼這就是UL。

因此，每個人都認為解決UL將是一項重大進展，因為人們可以使用沒有人類標籤的數據。不幸的是，因為免費提供的東西很容易提取，它已經被解決了。我在2019年對UL的預測是，研究人員將接受這一新觀點，轉而關注更有價值的研究（即continual或interventional學習）。

3.元學習僅適用於研究

我們對元學習的理解似乎與對無監督學習的理解一樣模糊。如今所實踐的元學習更像是遷移學習。實際上更高級的元學習可以構建和改進自己的模型的。元學習應該能夠建立外推和創造性的學習模型，但我們無法實現這一能力。

任何適用於多領域的學習方法在技術上都是元學習演算法。例如，梯度下降、遺傳演算法、自我博弈和進化都是元學習演算法。元學習方法的目標是開發在許多領域中學習良好的演算法。

目前很少存在已知的元學習演算法，但是知道存在一種我們不理解的元學習演算法，我們不了解人們使用的元學習演算法。此外，元學習像無監督學習一樣是一個太普遍的問題，以致無法理解如何以通用的方式解決，可能天下真的沒有免費的午餐。

我認為有些具體的方法（如生成模型，混合模型和課程訓練）將有更好的機會獲得更有價值的結果，這意味著我們發現的元學習演算法僅對特定類型的學習任務有用。就像通過梯度下降學習只為特定任務加速梯度下降一樣，元學習只能改善它所見過的任務中的學習。簡而言之，元學習充其量是內插的，不能概括全部，也許不存在通用的元學習方法，而存在一套元學習方法，可以拼湊在一起來產生有效的課程。

總之，元學習仍將需要研究。

4.在科學中的應用生成計算模型

我們將可以更好地控制生成模型。這裡有三類已被證明是有效的生成模型：變分自編碼器、GAN和基於流的生成模型。我希望看到GAN和Flow模型的快速發展以及VAE的進展。我還期望在科學探索中看到這種涉及複雜的自適應系統應用（即天氣、流體模擬、化學和生物學）。這方面的進步將對科學進步產生深遠的影響。

5.混合模型在預測中的應用

深度學習在提供高維繫統預測方面發揮出優勢。然而，深度學習仍然無法制定自己的抽象模型，這仍然是解釋性和外推預測的基本障礙。為了補充這些限制，我們將看到混合雙重過程解決方案，它將現有模型與無模型學習相結合。

我覺得使用hand-crafted的模型可以減輕無模型RL的低效率問題。我期待關係圖網路的進展，並且當這些圖與先前的基於模型的模型有偏差時，我們會看到令人印象深刻的結果。我還期望通過融合現有的符號演算法與DL，來提升預測能力。

DL的產業化將不是因為我們在遷移學習方面取得了進步，而是通過人工模型和DL訓練模型的融合。

6.更多模仿學習方法

模仿不需要外推推理，因此我們將會看到在模仿各種現有系統方面取得的相當大的進展。為了能夠模仿行為，機器只需要創建一個反映行為的描述性模型。 這比生成建模更容易，因為生成建模必須要發現未知的生成約束。生成模型運作良好的原因是它所做的只是模仿數據而不是推斷生成數據的潛在因果的模型。

7.更多深度學習集成設計探索

我們將看到許多生成模型的研究轉移到現有的設計工具中。它首先出現在視覺領域，並逐步向其它方向發展。

事實上，我們甚至可以將AlphaGo和AlphaZero的進展視為設計探索。競爭性圍棋和國際象棋選手已經開始研究從DeepMind遊戲AI引入的探索策略，來開發以前未被探索過的新策略。

深度學習方法的簡單匹配演算法和可擴展性將成為可以改善人類所完成設計的頭腦風暴機器，許多深度學習方法現在都集成在Adobe和AutoDesk的產品中。 Style2Paints是與標準桌面應用程序集成的深度學習方法的絕佳示例。

深度學習網路可以降低人們在工作流中完成任務所需的認知負荷。深度學習允許創建擅長處理更模糊和更混亂的認知細節的工具。這些都需要減少信息過載，提高召回率，提取文本和更快的決策。

8.端到端訓練的衰減，未來會注重發展性學習

端到端訓練的回報將會減少，我們將看到在不同環境中訓練的網路來學習專業技能，將這些方法拼接在一起形成的新方法，來作為更複雜技能的構建塊。我期望在2019年看到課程訓練的進步以及希望看到更多的研究受到人類嬰兒發展的啟發。訓練網路執行複雜的任務將涉及複雜的獎勵設置，因此我們需要改進方法來解決這個問題。

9.更豐富的自然語言處理嵌入

NLP已經在2018年取得了進展，這主要歸功於創建詞嵌入無監督學習方法的進步，2018年NLP的進展可歸功於更先進的神經嵌入（ELMO，BERT）。通過簡單地替換更豐富的嵌入，這些嵌入改進了許多上游NLP任務，關係圖網路中的工作可以進一步增強深度學習NLP功能。

Transformer網路被證明在NLP中非常有價值，我希望它在其他領域繼續採用。我認為ConvNet網路的主導地位將受到Transformer網路的挑戰。我的直覺是，與ConvNets可用的固定機制相比，注意力是一種更加通用的機制，用於實施不變性或協方差。

10.採用控制論和系統思維方法

深度學習實踐的一個主要缺點是缺乏對大局的理解。我們正處在需要從更多非傳統來源獲取靈感的時刻，我相信這些來源是以前控制論及其相關的系統思維學科的研究。我們需要開始考慮如何構建強大的智能基礎架構和智能擴充。這需要超越目前許多研究人員的機器學習思維。

邁克爾在他的文章「人工智慧 – 革命尚未發生」中評論說，諾伯特維納的控制論已經「主宰當前時代」。控制論和系統思維將幫助我們開發更全面的方法來設計AI系統，成功的人工智慧部署最終將與他們如何與人類用戶的需求保持一致。這將需要探索和制定整合各種相互作用部分的整體方法。

許多更新穎的深度學習方法可以追溯到控制論中的思想。對自主AI需要在其世界模型中包含主觀視角的理解將會增加。預測編碼、由內到外的體系結構、體現學習、及時推理、內在動機、好奇心、自我模型和可操作的表示都在這個範例中相關。

總結

深度學習繼續以突破性的速度取得進展，我希望研究可以轉變為工業應用。在當今市場中理解深度學習的普遍缺點是無法為現有問題制定整體解決方案。創建將DL作為一個組件整合到整體中的解決方案的能力將是一種追求的技能。機器學習方法論可能是錯誤的，我們可以在控制論中可以找到更合適的觀點。我們可能無法在短期內實現AGI，但深度學習可用的工具和方法可作為科學和商業中有價值應用的堅實基礎。