基于中心对比学习的域外意图检测.pdf

目录

摘要I

ABSTRACTII

1绪论1

1.1域外意图检测的研究背景与意义1

1.2域外意图检测的研究现状2

1.3论文的主要研究内容5

1.4论文的组织及结构安排7

1.5本章小结9

2域外意图检测的相关理论与技术10

2.1对比学习综述10

2.2表征学习综述17

2.3域外意图检测综述19

2.4本章小结22

3基于中心对比学习的域外意图检测23

3.1概述23

3.2表征学习阶段24

3.3意图检测阶段26

3.4本章小结27

4实验过程和结果分析28

4.1数据集描述28

4.2实验设置30

4.3基线30

4.4评价指标31

4.5实验结果33

4.6实验结果分析34

4.7扩展实验35

4.7.1样本的特征分布35

4.7.2类内距离统计36

4.7.3类间距离对比37

4.7.4batchsize的取值对实验结果的影响38

4.7.5λ39

平衡因子的取值对实验结果的影响

4.7.6τ40

温度系数的取值对实验结果的影响

4.8本章小结42

5总结与展望43

5.1总结43

5.2展望44

参考文献45

致谢49

攻读硕士学位期间主要研究成果50

贵州师范大学学位论文原创性声明51

贵州师范大学学位论文使用授权书51

摘要

意图检测旨在从用户的自然语言输入中确定用户所要表达的意图和目的，是

自然语言处理的重要任务之一。传统的意图检测任务假设所有的意图类别都是

已知的，然而在现实的交互场景中，预先被定义的意图类别很难涵盖用户的所

有意图。对话系统如果把未知的意图识别为已知的意图，就会产生错误的回应，

进而影响对话的进行，严重还会导致用户做出错误决策，给用户带来损失。因

此有必要让对话系统识别出未知意图。域外意图检测任务的目标就是不仅要准

确识别出已知意图还要能检测出未知意图。

域外意图检测任务通常被视为一种分类任务。其中一个关键挑战是如何使

模型学习到具有判别性的表示。对比学习通过构建正负样本对，使相似样本彼

此靠近，不相似样本相互远离，有助于模型学习到具有判别性的表示，因此被

引入到域外意图检测任务中。以往使用对比学习的域外意图检测方法通常使用

多个样本来代表一个类，并将所有不属于该类的样本视为该类的负样本。当样

本不平衡时，即某些类别样本数量远远超过其他类别，可能导致模型在训练过

程中过度专注于这些类别，而忽略其他类别。此外，这些方法通常需要生成额

外的伪正负样本，或依赖额外的模型生成正负样本。

本文从整体类的角度出发，把类的中心点作为一个类的代表，并提出了基于

中心对比学习的域外意图检测方法。本文的方法将域外意图检测分成两个阶段：

表征学习阶段和意图检测阶段。为了防止模型提前接触到未知意图样本，在训

练阶段仅使用已知意图样本进行模型训练。在表征学习阶段，采用了交叉熵损

失和中心对比学习损失来监督模型训练。交叉熵损失有助于区分已知意图，而

中心对比学习损失则使得样本向其所属类别的中心点靠近，并远离其他类别的

中心点，从而增强语义特征空间中已知和未知类别之间的分离度，有利于已知

意图和未知意图的类别区分。在意图检测阶段，利用获取到的表征，采用了高

斯判别分析来对样本的意图类别进行识别。在已知意图比率为50%和75%的

StackOverflow数据集上，本文的方法在各项指标上均优于以