bert

BERT和Transformer到底学到了什么

BERT为什么能有这么好的效果，深入其原理本身，又究竟好在哪里？在AI ProCon 2019大会上，新浪微博机器学习团队AI Lab负责人张俊林为大家深入分享了《BERT和Transformer到底学到了什么？》

本文详细介绍了bert 相比之前nlp技术的优势，同时详细介绍了技术原理。

CMU 与谷歌大脑提出的全新XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果！而更令人激动的是，目前 XLNet 已经开放了训练代码和大型预训练模型。

微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS，在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中，MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。

2018年10 月初，Google AI 提出了一种新的上下文词表征——BERT 特征。本文对 BERT 特征进行了介绍，并简要分析了 BERT 特征的可解释性。

我们将使用Kaggle的垃圾评论分类挑战来衡量BERT在多标签文本分类中的表现。