周明博士是微軟亞洲研究院副院長、國際計算語言學協會（ACL）主席、中國計算機學會理事、中文信息技術專委會主任、術語工作委員會前任主任、中國中文信息學會常務理事，哈爾濱工業大學、天津大學、南開大學、中國科技大學、北航大學等多所學校博士導師。

以下為與周明博士的對話，機器之心根據對話內容做了不改變原意的精簡和編輯，以饗讀者。

機器之心：據Marekrei的統計，在過去一年（2018年），您參與發表的頂會論文數量在NLP+ML領域排名世界第一。您能否介紹一下您們團隊在過去一年多的時間裡取得了哪些成績？

周明：總體來講，去年對我們團隊來說是一個大豐收年。我們取得的成就可以歸結如下：

第一項成就就是閱讀理解（英文簡稱 MRC）。我們先後分別在SQuAD 1.1和SQuAD 2.0都取得了第一名的成績。2018年1月，我們提交的系統首次突破人類在SQuAD 1.1測試集的水平，後來又有其他幾個公司也先後超越了人類分數。這些系統體現了閱讀理解的突破進展。最近我們在 SQuAD 2.0上，又超越了其他公司，獲得了第一名。另外，在一個交互式、多輪 MRC 的系統CoQA上，我們最近提交（也是首次提交）的結果，也獲得了第一名。

第二項成就是神經網絡機器翻譯（NMT）。我們在通用新聞報道測試集newstest2017的中-英測試集上，達到了可與人工翻譯媲美的水平。這是首個在新聞報道的翻譯質量和準確率上可以比肩人工翻譯的翻譯系統。這個是微軟亞洲研究院自然語言計算組和機器學習組的同事們與微軟總部的機器翻譯產品部門通力合作所取得的一個成績。我們提出了新的聯合訓練和對偶學習以便充分利用單語語料，然後發明了一致性規範和推敲網絡改進解碼能力。這些技術的綜合應用大幅度提升了翻譯水平。

第三項成就是語法檢查（Grammar check）。我們用神經網絡的編碼和解碼技術，採用了類似於神經網絡機器翻譯的技術，對語法檢查進行了重要改進，可以自動生成訓練語料，並多次解碼逐輪求優。我們的結果在目前語法檢查的三個公開評測集中都位列第一名。我們發表的相關ACL文章引起了業界的關注。

第四個就是基於神經網絡的語音合成（TTS）。我們與微軟的語音產品部門合作把神經網絡機器翻譯技術首次應用於TTS，大幅度提高了TTS質量。我們的技術在相關評測集合中表現最好。

除此之外，我們繼續跟微軟小冰合作。在原來的聊天引擎的基礎上，大力提升了機器創作能力。比如寫詩、譜曲、新聞等等，其中AI作詞譜曲還上了中央電視台的《機智過人》節目，產生了很大的影響力。

機器之心：在過去幾年中，您也一直積极參与到NLP頂會ACL的組織和管理當中，尤其今年您作為ACL的主席參與其中。在這個過程中，首先，您覺得從全局來看過去一年NLP領域有哪些新的進展呢？

周明：第一，神經網絡深入到NLP各個領域之中，由此帶來的嶄新的神經NLP的建模、學習和推理方法，在我剛才所介紹的典型NLP任務中都取得了很好的進展；第二，以BERT為代表的一系列預訓練模型得到了廣泛應用，體現了大規模語言數據所蘊含的普遍語言規律和知識與具體應用場景巧妙結合的潛力；第三，低資源的NLP任務獲得了廣泛重視並得到了很好的發展。

除了以上技術上的顯著進步，我想值得一提的是就中國的NLP的進展迅猛引起了世界矚目。中國計算機學會和中文信息學會等主要學會都對中國NLP發展做出了重要貢獻。兩個學會各自都舉辦了很好的學術會議、講習班或者暑期學校。除此之外兩個學會還合作舉辦了“語言智能高峰會議”，去年已經是第三屆了。由於這些學會的努力，再加上學校、公司的努力，中國的自然語言發展，從頂會（ACL、EMNLP、COLING 等）論文發表來看，過去五年來連續居於世界第二名；僅次於美國，遠遠高於其他國家。

這裡多說一句就是，中國計算機學會的國際自然語言處理和中文計算大會（NLPCC），它的國際化程度、規模和水平目前正逐漸跟世界頂級的會議靠攏。其錄取率在23%左右，參會人數在500人以上且逐年有20%的增長。同時，大會擁有國際化的大會組委會和程序委員會，工作語言是英文。可以期待它會成為中國發軔國際一流NLP學術大會。我們在NLPCC大會上曾經表述過這樣的兩個目標：2020年，中國的自然語言研究達到世界公認的先進水平；2030年，中國的自然語言研究達到世界公認的頂尖水平。我相信NLPCC大會能促進這兩個目標的實現。

此外，去年ACL還成立了亞洲ACL分會（AACL）。我很感謝ACL執委會的支持以及亞太地區各個國家和地區NLP同仁的鼎力支持。AACL的成立標誌着亞洲可以跟北美和歐洲在NLP發展上平頭進步。AACL亞洲分會成立後，可以在亞洲組織很多很多類似於ACL這樣的活動，來提升亞洲的NLP發展水平。

所以你看，從中國到亞洲到世界，整個趨勢是在不同的層次進行努力；中國的進步非常迅速，引起世界一些研究者的關注。我在此前撰寫的一篇文章中指出，NLP 進入了黃金的十年。這是因為未來國民經濟發展和人工智能對NLP帶來的龐大的需求，大規模的各類數據可供模型訓練，以神經網絡NLP為代表的各種新方法將一步步提升建模水平，各種評測和各種開放平台推動NLP研究和推廣的能力，日益繁榮的AI和NLP領域促進專門人才的培養等等。所以，未來十年是非常值得期待的。

機器之心：剛才您提到中國NLP進展迅猛。過去一年，中國在研究方面有哪些比較重要的突破呢？

周明：除了我上面提到的微軟亞洲研究院的那幾項成果，中國的很多學校和公司也取得了很好的進展，比如中文的MRC，百度、科大訊飛跟有關學會或者高校合作都分別組織了大規模的中文的MRC評測。其影響力也超越了國界。其他國家只要做中文的MRC，也來參加這些評測。

中國的機器翻譯，也就是以中文為中心的機器翻譯，現在在世界上處於領先水平。中文為中心，就是漢語到其他語言，中文到日文、泰文、馬來文等的翻譯，這些都是以中文為中心的。圍繞着一帶一路沿線各個國家的語言翻譯，中國有很多學校和公司都做了非常了不起的工作。在以中文為中心的研究和實用化方面，都取得了很好的進展。

在聊天和對話方面。中國也位居世界前列。以中國出現的微軟小冰為代表的聊天系統帶動了全世界範圍的人工智能聊天系統的研究和開發。小冰平均聊天輪數達到23輪，而且實現了多模態聊天。除了小冰，中國的很多互聯網、電子商務、手機公司都開展了聊天機器人和語音對話系統的研發。用於搜索引擎、語音助手、智能音箱、物聯網、電子商務、智能家居等，

剛才這三個趨勢，我認為代表了過去兩三年來中國NLP的一些典型進步。

機器之心：往未來看的話，您覺得2019年哪些研究會有更大的研究潛力？

周明：如果要算的話，我覺得有三個點比較令人關注。

第一，剛才說的預訓練模型。過去一年基本上大家都在談論預訓練模型。尤其BERT一出來，幾乎所有任務都用BERT，結果是很多任務的水平都獲得提升。所以未來的一年我可以預料的是，預訓練模型會持續熱起來。包括怎麼訓練一個更好的預訓練模型，包括怎麼把預訓練模型更好地應用在某一項具體任務裡面。

第二，就是低資源NLP任務的研究。在無語料或者小語料的場合如何做一定的學習、建模和推理？進一步開發半監督學習、無監督學習方法，利用Transfer Learning、Multi-task Learning等等方法，把其他語言、任務或者開放領域的模型巧妙嫁接或者借用到新的語言、任務或者領域中來，在某一個具體的任務（比如機器翻譯、閱讀理解、問答等）上更好地體現出來。

第三，就是所謂基於知識，甚至基於常識的一些應用。就是如何把知識和常識建立起來，如何巧妙地加入到模型裡頭，然後如何評測知識和常識所帶來的效果。我認為未來這一年這個可能會成為一個關注點。

機器之心：您在剛才提到的署名文章《NLP將迎來黃金十年》一文中指出，NLP將向四個方面傾斜，分別是：1）將知識和常識引入到目前基於數據的學習系統中；2）低資源的NLP任務的學習方法；3）上下文建模、多輪語義理解；4）基於語義分析、知識和常識的可解釋NLP。這些您剛才也有提到。您們團隊這邊在這些方面的研究思路是什麼？

周明：首先方法論上，我剛才所說的預訓練模型，還有半監督學習、Transfer learning、多任務學習，我們會盡全力推進。然後在具體應用上，我們會把機器翻譯、閱讀理解、問答、聊天對話，可能還有一些其他的方面作為一個出發點。然後針對這些具體的任務，把剛才所說的那些方法實施一下，看看效果，然後不斷迭代。

你看我們有兩條腿走路，一個是方法，一個是應用，讓它倆不停的迭代。應用給很多方法提供了挑戰，然後很多方法給應用提供了新的一些想法，兩者可以相得益彰。

此外，一方面，我們期待項目做得好，應用本身做得好，可以服務於很多的用戶，通過微軟的產品也好，或者奉獻給開源社區也好。利用用戶的反饋持續調整和改進我們的研究方向和思路。另一方面，方法論上，我們希望在新的神經網絡架構下能夠清晰地描述出來一些任務（例如自然語言理解）的理論體系，這包括modeling、learning、reasoning。三個ing的東西實際上是自然語言作為一個學科，建立其背後最重要的技術體系和理論體系。現在在這三個方面都已經有很好的研究了，但是散落在很多地方，不太成完整的體系，所以我們希望通過做項目和研究，能夠回答自然語言（尤其是基於神經網絡計算的自然語言）的理論體系是什麼。在理論體系支撐下，希望最後形成一個技術體系。我們將發布一些工具或者開源系統幫助國內外從事自然語言研究的人，讓他們能夠快速借鑒已有的方法，不再重複做研究，從而把時間用於去做一些他自己感興趣的應用。

機器之心：在多模態融合方面您們團隊也有較廣泛的研究，發表了多篇論文。現在這個研究領域有什麼進展？

周明：首先多模態融合這個事情非常有意思。由於神經網絡的進展，使得多模態（語言、文字、圖像、視頻）的編碼和解碼可以在同一個框架下統一進行了。由於內在語義不一樣，以前真的不太清楚語言分析的結果怎麼與圖像分析的結果一起結合、一起應用；現在則可以用一種模式來建模，編碼、解碼。從而實現端對端的學習，可以一體化暢通無阻。

第二，應用上，也相應地產生了很多有趣的應用，比如說capturing，就是對一個圖像或視頻理解之後用一段文字描寫出來。過去一年或者兩年有很多這樣的研究。還有關於視頻或者圖像的問答，（CQA）。CQA 過去 1 到 2 年，有很多進展，包括我們組也做了一些CQA的工作，比如說引入常識知識來幫助提升CQA的水平。

第三，就是把圖像識別的結果作為自然語言系統的輸入，做寫詩、作詞、譜曲的工作。微軟小冰寫詩也是這樣的工作。用戶上傳一個圖片，小冰理解了這個圖片，理解的結果可以用幾個關鍵詞代表。然後利用關鍵詞再產生更多的聯想關鍵詞，進而把一首歌詞或者一首詩生成出來。

機器之心：前幾天看馮志偉老師的一個文章，標題為《語言學家在自然語言處理研究中大有可為》。語言學在NLP歷史上起到什麼樣的作用？目前來看的話，語言學對NLP還有作用嗎？

周明：馮老師寫的文章是從語言學角度來看待這個問題，我覺得角度很好，我們也關注這些問題。

過去來講，自然語言處理剛起步的時候都是基於語言學的，所以語言學對自然語言處理的發展起到了重要的奠基作用，包括基於規則的NLP系統對句法分析和機器翻譯的重要貢獻。

但這幾年，我們也注意到，由於大數據（帶標的數據）越來越容易拿到了，所以通過機器學習（統計機器學習或神經網絡學習）的手段，就可以做端對端的訓練。若只看結果的話，如果有充足的數據，似乎不用語言學的知識就能得到很好的結果。比如說基於神經網絡的機器翻譯就沒有用到語言學的知識。這是目前大家都看到的一個趨勢。

但這並不代表語言學真的沒什麼用處。舉個例子，低資源的翻譯，此時雙語語料很小，用常規的機器學習來得到的機器翻譯系統，其翻譯質量和泛化能力都非常不足。這時候可以考慮把語言學的知識融入其中，希望得到一個更好的翻譯結果。從這一點意義上看，在半監督學習或者低資源的自然語言任務中，語言學知識加上人類的領域知識，肯定是能發揮作用的。

但是，我認為現在還沒有一個特別好的方法把兩者融合起來，也沒有把語言學知識或領域知識給予充分的表達，以體現它的能力。這方面在研究上還有欠缺，但恰恰也是未來的一個研究焦點。

語言學對NLP研究有沒有用？我覺得需要case by case地去看待這個情況。不能簡單地說有用或者無用，要針對具體任務、所能得到的資源（數據、知識和規則）的數目和質量，來綜合考慮各種方法。比如數據足夠充分，可以傾向於端對端的自動學習，數據不夠充分，且具備可用的知識和規則，則沒有理由不去利用知識和規則，以快速建立系統。當系統運行起來，需要考慮不停地追加數據、知識和用戶的反饋以改進系統。所以一個實用的NLP系統，是數據、知識和用戶一起磨鍊而成的。

機器之心：我們注意到微軟亞洲研究院從1998年到去年正好20年；而您是1999年加入微軟，到2019年也正好20年。這期間有哪些讓您覺得特別難忘的事情？

周明：去年微軟亞洲研究院20周年，我們舉辦了一系列活動，邀請了很多老朋友（包括學術界的、工業界的）以及來自微軟總部的同事們，大家聚在一起暢談。這個時候正好是回顧過去，展望未來的時候。所以大家也就想，過去二十年到底發生了什麼事，有哪些給我們留下深刻的印象。我這邊也想了一下。

我想到的是，過去20年首先是一個不斷發展的20年，整個微軟亞洲研究院從無到有，從小到大，經歷了一個波瀾起伏的過程。有的時候我們發展很順利，有的時候也經歷了一些挫折。但是不管怎樣，我們總是不斷進步，發展得越來越好。

第二，我很榮幸經歷了從第一屆院長李開復到現在我們洪院長他們領導的所有過程。所以對我來講，我既是這20年的親歷者、見證人，同時更有意義的是，我是一個受益者和學習者。這20年我學到了很多很多東西，我從清華加入到微軟，發現確實有很多新鮮的東西值得學習。微軟有很強的產品和市場團隊，還有微軟研究院以及微軟亞洲研究院這很強的研究氛圍。我作為一個員工，從各個角度獲得了很好的學習和體驗機會。具體來講，無論研究方法、團隊合作、產品意識、還有國內國外合作的境界。我覺得在這些方面都得到很好的歷練。

如果說做的項目的話，舉幾個例子說說我們的歷程。我們一開始是做微軟的輸入法，中文的和日文的。到了2004年開始做微軟對聯（註：微軟亞洲研究院的NLP團隊屬於國內最早做對聯和詩歌的），2008年到2012年左右我們做了必應詞典，還有2012年的微軟研究院創始人Rick Rashid在二十一世紀的計算大會上演示了實時語音機器翻譯系統，最近兩三年我們參與了微軟小冰的合作。這幾年我們還做了神經網絡機器翻譯，以及機器閱讀理解等等。我覺得每一個項目都有我們自己的特點。從開始立項，經過不停的方案調整，實驗不同的方法。這個過程中，每一個人都得到了很好的歷練，也提升了自己的研究能力。回顧這些事情，經歷了一個又一個的項目，我和我的同事們感到很驕傲、很自豪。

但是，我想把視角從單純的研究項目本身，投射到關乎NLP發展的更寬闊的天地。實際上微軟亞洲研究院過去的20年為提升全球NLP，尤其是中國的NLP，發揮了獨到的作用。作為一個大公司，一個負責任的公司，不應該只想到自己，還應該想想它能否正面的幫助這個領域發展，幫助所在國家和地區在這個領域的發展。做一個有意義的貢獻者。拿NLP這個領域來講，微軟中國研究院（後改名微軟亞洲研究院）剛成立的時候，中國只有一篇ACL文章，是清華大學黃昌寧老師的研究組寫的。

在1998年微軟亞洲研究院成立之初，我們就制定了與有關學會、學校合作的計劃，通過暑期學校、聯合實驗室、學術大會、各項大學合作項目等一攬子計劃共同提升NLP的研究水平。我們過去20年，在NLP領域就培養了超過500名實習生、20名博士生、20名博士後。這些人絕大多數都去了學校或其他公司。這些人也都逐漸成為了所在單位的技術核心或者領導人物；他們又帶動了更多人的成長。所以通過二十年，中國的NLP發展越來越好，已經連續五年在NLP頂會（例如ACL）論文數量排名世界第二。

現在中國各大公司的NLP組，有世界級的專家帶領，也服務於世界級的任務，無論是文章發表還是產品，都是世界級的水平。這個事實背後，我想說跟與微軟亞洲研究院在中國恰逢其時地推動了這個領域的發展有巨大的關係。

微軟亞洲研究院號稱IT界或人工智能界的黃埔軍校；我們也可以自豪地說，在NLP領域我們也是黃埔軍校。所以我每念於此，我都感到非常地驕傲和自豪。

本文轉自公眾號 微軟研究院AI頭條，原文地址