【自然语言处理实践10】基于预训练-微调的文本匹配.pptxVIP

1基于预训练-微调的文本匹配

2基于预训练-微调的文本匹配预训练模型(Pre-trainedModels)的出现将NLP带入了一个全新时代预训练语言模型在下游任务具有：更少的标注数据、更高的任务效果、更简单的网络结构适配等优点，使许多NLP任务获得显著的性能提升。

3预训练-微调的文本匹配模型百度2019年提出预训练语言模型ERNIE（知识增强语义表示模型，EnhancedRepresentationfromkNowledgeIntEgration）ERNIE认为，BERT在NLP各个应用领域取得了不凡的成绩，主要得益于其使用了大量文本语料进行了无监督预训练：(a)MaskedLM，(b)NextSentPrediction；但BERT仍然存在以下缺点：(1)MaskedLM的建模过程中是以字为单位的，这使得模型很难学习到语义知识单元的完整语义表示文章举例如下：对于乒[mask]球，清明上[mask]图，[mask]颜六色这些词，BERT模型通过字的搭配，很容易推测出掩码的字信息，但没有显式地对语义概念单元(如乒乓球、清明上河图)以及其对应的语义关系进行建模。(2)训练语料单一（百科类），且除MaskedLM外只有NextSentPrediction任务，较为单一

4HowERNIE（