《基于BERT的短文本相似度判别模型研究》6700字.docx

基于BERT的短文本相似度判别模型研究

摘要：短文本的表示方法和特征提取方法是自然语言处理基础研究的一个重要方向，具有广泛的应用价值。本文提出了BERT_BLSTM_TCNN模型，该神经网络模型利用BERT的迁移学习，并在词向量编码阶段引入对抗训练方法，训练出包括句的语义和结构特征的且泛化性能更优的句特征，并将这些特征输入BLSTM_TCNN层中进行特征抽取以完成对短文本的语义层面上的相似判定。在相关数据集上的实验结果表明：与最先进的预训练模型相比，该模型在有着不错的判定准确率的同时还有参数量小易于训练的优点。

关键词：词向量模型；自然语言处理；短文本相似度

0引言

近些年来随着个人计算