BERT为什么能有这么好的效果，深入其原理本身，又究竟好在哪里？在AI ProCon 2019大会上，新浪微博机器学习团队AI Lab负责人张俊林为大家深入分享了《BERT和Transformer到底学到了什么？》
transformer
2019 最新的 Transformer 模型：XLNET，ERNIE 2.0和ROBERTA
大型预训练语言模型无疑是自然语言处理（NLP）最新研究进展的主要趋势。
Google机器翻译新论文-更好更高效的演化transformer结构，提升机器翻译到新水平
谷歌大脑最新研究提出通过神经架构搜索寻找更好的 Transformer，以实现更好的性能。该搜索得到了一种名为 Evolved Transformer 的新架构，在四个成熟的语言任务（WMT 2014 英德、WMT 2014 英法、WMT 2014 英捷及十亿词语言模型基准（LM1B））上的表现均优于原版 Transformer。