摘要：和，領(lǐng)域近來最受關(guān)注的大模型究竟怎么樣剛剛有人實測比拼了一下，結(jié)果在中文語言環(huán)境下，結(jié)果令人意外又驚喜。隨后在年上半年，百度的開源深度學習平臺發(fā)布了知識增強的預訓練模型，通過海量數(shù)據(jù)建模詞實體及實體關(guān)系。

BERT和ERNIE，NLP領(lǐng)域近來最受關(guān)注的2大模型究竟怎么樣？剛剛有人實測比拼了一下，結(jié)果在中文語言環(huán)境下，結(jié)果令人意外又驚喜。具體詳情究竟如何？不妨一起圍觀下這篇技術(shù)評測。

寫在前面

隨著2018年ELMo、BERT等模型的發(fā)布，NLP領(lǐng)域終于進入了“大力出奇跡”的時代。采用大規(guī)模語料上進行無監(jiān)督預訓練的深層模型，在下游任務(wù)數(shù)據(jù)上微調(diào)一下，即可達到很好的效果。曾經(jīng)需要反復調(diào)參、精心設(shè)計結(jié)構(gòu)的任務(wù)，現(xiàn)在只需簡單地使用更大的預訓練數(shù)據(jù)、更深層的模型便可解決。

隨后在2019年上半年，百度的開源深度學習平臺PaddlePaddle發(fā)布了知識增強的預訓練模型ERNIE，ERNIE通過海量數(shù)據(jù)建模詞、實體及實體關(guān)系。相較于BERT學習原始語言信號，ERNIE直接對先驗語義知識單元進行建模，增強了模型語義表示能力。

簡單來說，百度ERNIE采用的Masked Language Model是一種帶有先驗知識Mask機制。可以在下圖中看到，如果采用BERT隨機mask，則根據(jù)后綴“龍江”即可輕易預測出“黑”字。引入了詞、實體mask之后，“黑龍江”作為一個整體被mask掉了，因此模型不得不從更長距離的依賴（“冰雪文化名城”）中學習相關(guān)性。

除此之外，百度ERNIE還引入了DLM（對話語言模型）任務(wù)，通過這種方式來學習相同回復對應的query之間的語義相似性。實驗證明DLM的引入對LCQMC（文本相似度計算）系列任務(wù)帶來了較大的幫助。最終ERNIE采用多源訓練數(shù)據(jù)，利用高性能分布式深度學習平臺PaddlePaddle完成預訓練。

親測

到底百度ERNIE模型所引入訓練機制有沒有起到作用，只有實踐了以后才知道。為此，我親自跑了BERT和ERNIE兩個模型，在下面的幾個場景中得到了預測結(jié)果。

2.1 完形填空
完形填空任務(wù)與預訓練時ERNIE引入的知識先驗Mask LM任務(wù)十分相似。從下圖的比較中我們可以看到，ERNIE對實體詞的建模更加清晰，對實體名詞的預測比BERT更準確。例如BERT答案“周家人”融合了相似詞語“周潤發(fā)”和“家人”結(jié)果不夠清晰；“市關(guān)村”不是一個已知實體；“菜菜”的詞邊界是不完整的。ERNIE的答案則能夠準確命中空缺實體。

2.2 NER (命名實體識別)
在同樣為token粒度的NER任務(wù)中，知識先驗Mask LM也帶來了顯著的效果。對比MSRA-NER數(shù)據(jù)集上的F1 score表現(xiàn)，ERNIE與BERT分別為93.8%、92.6%。在PaddleNLP的LAC數(shù)據(jù)集上，ERNIE也取得了更好的成績，測試集F1為92.0%，比BERT的結(jié)果90.3%提升了1.7%。分析二者在MSRA-NER測試數(shù)據(jù)中二者的預測結(jié)果。可以觀察到：

1.）ERNIE對實體理解更加準確：“漢白玉”不是實體類型分類錯誤；

2.）ERNIE對實體邊界的建模更加清晰：“美國法律所”詞邊界不完整，而“北大”、“清華”分別是兩個機構(gòu)。

Case對比：摘自MSRA-NER數(shù)據(jù)測試集中的三段句子。B_LOC/I_LOC為地點實體的標簽，B_ORG/L_ORG為機構(gòu)實體的標簽，O為無實體類別標簽。下表分別展現(xiàn)了 ERNIE、BERT模型在每個字上的標注結(jié)果。

2.3 相似度
ERNIE在訓練中引入的DLM能有效地提升模型對文本相似度的建模能力。因此，我們比較文本相似度任務(wù)LCQMC數(shù)據(jù)集上二者的表現(xiàn)。從下表的預測結(jié)果可以看出，ERNIE學習到了中文復雜的語序變化。最終ERNIE與BERT在該任務(wù)數(shù)據(jù)的預測準確率為87.4%、87.0%.

2.4 分類

最后，比較應用最廣泛的情感分類任務(wù)。經(jīng)過預訓練的ERNIE能夠捕捉更加細微的語義區(qū)別，這些句子通常含有較委婉的表達方式。下面展示了PaddleNLP情感分類測試集上ERNIE與BERT的打分表現(xiàn)：在句式“不是很…”中含有轉(zhuǎn)折關(guān)系，ERNIE能夠很好理解這種關(guān)系，將結(jié)果預測為“消極”。在ChnSentiCorp情感分類測試集上finetune后ERNIE的預測準確率為95.4%，高于BERT的準確率（94.3%）。

從以上數(shù)據(jù)我們可以看到，ERNIE在大部分任務(wù)上都有不俗的表現(xiàn)。尤其是在序列標注、完形填空等詞粒度任務(wù)上，ERNIE的表現(xiàn)尤為突出，不輸給Google的BERT。