bert

BERT和Transformer到底學到了什麼

BERT為什麼能有這麼好的效果，深入其原理本身，又究竟好在哪裡？在AI ProCon 2019大會上，新浪微博機器學習團隊AI Lab負責人張俊林為大家深入分享了《BERT和Transformer到底學到了什麼？》

本文詳細介紹了bert 相比之前nlp技術的優勢，同時詳細介紹了技術原理。

CMU 與谷歌大腦提出的全新XLNet 在 20 個任務上超過了 BERT 的表現，並在 18 個任務上取得了當前最佳效果！而更令人激動的是，目前 XLNet 已經開放了訓練代碼和大型預訓練模型。

微軟亞洲研究院的研究員在ICML 2019上提出了一個全新的通用預訓練方法MASS，在序列到序列的自然語言生成任務中全面超越BERT和GPT。在微軟參加的WMT19機器翻譯比賽中，MASS幫助中-英、英-立陶宛兩個語言對取得了第一名的成績。

2018年10 月初，Google AI 提出了一種新的上下文詞表徵——BERT 特徵。本文對 BERT 特徵進行了介紹，並簡要分析了 BERT 特徵的可解釋性。

我們將使用Kaggle的垃圾評論分類挑戰來衡量BERT在多標籤文本分類中的表現。