基于预训练模型的中文文本语义匹配方法研究.pdf

目录

摘要I

AbstractIII

第一章绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1传统的文本语义匹配算法3

1.2.2基于深度学习的文本语义匹配算法4

1.3论文的主要工作5

1.4论文组织结构6

第二章相关理论及方法介绍8

2.1文本预处理8

2.1.1中文文本分词8

2.1.2去停用词9

2.2词向量表示技术9

2.2.1One-Hot10

2.2.2Word2Vec10

2.2.3GloVe12

2.2.4ELMo12

2.3深度学习模型12

2.3.1循环神经网络13

2.3.2预训练语言模型15

2.4数据增强技术18

2.5损失函数18

2.6本章小结20

第三章基于并行Dropout的文本语义匹配研究21

3.1引言21

3.2BiLSTM-PD模型架构21

3.2.1输入层22

3.2.2特征提取层22

3.2.3Dropout层23

3.2.4输出层23

3.3实验结果及分析24

3.3.1参数设置24

3.3.2数据集24

3.3.3评价指标25

3.3.4对比模型介绍25

3.3.5对比实验结果与分析26

3.3.6消融实验结果及分析28

3.4本章小结30

第四章基于MSE-SCL的文本语义匹配研究31

4.1引言31

4.2MSE-SCL模型架构31

4.2.1MSE损失32

4.2.2监督对比损失33

4.3实验结果及分析34

4.3.1参数设置34

4.3.2其他实验设置35

4.3.3对比实验结果与分析35

4.3.4消融实验结果与分析37

4.4本章小结38

第五章基于语义匹配的智能化在线考试系统设计与实现39

5.1需求分析39

5.2系统设计40

5.3系统实现41

5.3.1用户交互功能42

5.3.2组建试卷功能43

5.3.3在线考试功能44

5.3.4智能阅卷功能45

5.4功能实验47

5.5本章小结48

第六章总结与展望50

6.1本文工作总结50

6.2工作展望51

参考文献52

攻读硕士学位期间的成果59

致谢60

摘要

文本语义匹配是自然语言处理中的一项基本任务，在信息检索、文本分类和推荐系统

等领域有着广泛应用。目前文本语义匹配技术已比较成熟，但是在实际应用过程中仍面

临诸多挑战。现有主流的文本匹配模型通常重点匹配字面含义，无法有效提取句子的上

下文信息，因此准确率较低。为了提高模型的准确率，研究工作分别在模型架构和损失

函数方面进行了创新，提出了两种以BERT