BERT為什麼能有這麼好的效果，深入其原理本身，又究竟好在哪裡？在AI ProCon 2019大會上，新浪微博機器學習團隊AI Lab負責人張俊林為大家深入分享了《BERT和Transformer到底學到了什麼？》
transformer
2019 最新的 Transformer 模型：XLNET，ERNIE 2.0和ROBERTA
大型預訓練語言模型無疑是自然語言處理（NLP）最新研究進展的主要趨勢。
Google機器翻譯新論文-更好更高效的演化transformer結構，提升機器翻譯到新水平
谷歌大腦最新研究提出通過神經架構搜索尋找更好的 Transformer，以實現更好的性能。該搜索得到了一種名為 Evolved Transformer 的新架構，在四個成熟的語言任務（WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷及十億詞語言模型基準（LM1B））上的表現均優於原版 Transformer。