面向教育领域的对话系统研究.pdfVIP

摘要

面向教育领域的对话系统研究

21世纪进入20年代，互联网的飞速发展并逐渐深入人们生活的各个领域，

造就了一个数据膨胀的时代。在数据膨胀时代，对于信息的获取变得十分简单快

捷，但是也造成人们面对庞大繁杂的数据时难以寻找到有用信息。问答、对话系

统是信息检索的更高阶形态，用户以自然语言问句的形式输入系统，并在对用户

输入处理后，直接返回精确答案。相较于传统信息检索方法，对话系统更能切合

用户的使用习惯，满足用户高效、精确获取信息的需要。

随着人工智能特别是对以连结主义为核心的神经网络的深入研究和广泛应

用，自然语言处理在人类工作和生活中的重要程度不言而喻。在自然语言处理领

域，对话系统、问答系统一直是研究热度非常高的一个方向，深度学习和计算机

算力的飞速发展，推动了诸多优秀的应用涌现，例如Apple的Siri、微软的小冰、

小米的小爱同学以及百度的小度等等。但目前来看，关于对话系统的研究还不够

成熟，模型对于自然语言理解的层次还不深入，还不能满足人们对于对话系统智

能度的要求。对话系统中的关键技术主要集中在意图分类和实体识别两个方面：

意图分类目的在于对用户输入进行识别和分类，预测用户输入的语义上的类别。

实体识别的目的在于识别用户输入文本中的命名实体以及某一领域中特有的实

体。本文所提出的模型对意图分类和槽位识别两个任务联合学习，保留两任务内

在的语义约束关系，提升对话系统自然语言理解模块的准确率。

本文首先介绍自然语言处理领域的常用神经网络模型，然后介绍语言模型

理论，它是自然语言处理领域的基础课题。从发展过程来看，语言模型经历了概

率语言模型、神经语言模型以及预训练语言模型三个阶段。本文所提出的联合学

习方法正是基于目前性能最好、研究最为深入的预训练语言模型，预训练模型对

自然语言建模层次更为深入，表示能力更强，为对话系统提供了坚实基础。

而后，本文提出一种基于预训练语言模型的联合学习方法，模型联合学习意

图分类和槽位识别两个子任务，采用基于CNN、RCNN和VDCNN的混合网络

对意图进行识别，使用双向LSTM结合条件随机场对槽位进行识别。

为增强在教育领域的意图识别和槽位识别性能，结合教育领域各类意图和

实体的特点，构建领域词典，本文提出融入意图知识和领域实体信息的预训练目

标任务，对编码表示层使用的预训练语言模型进行继续预训练。还引入迁移学习

的思想，采用三阶段预训练方法，进行通用预训练、领域预训练和任务预训练。

为了改善基于预训练模型在部署和应用时，计算空间需求大、推理时间长的

问题，对提出的基于预训练的混合网络模型进行了知识蒸馏，有效降低了模型的

参数规模和计算延迟。在本文构建的数据集上对模型进行了训练，大规模模型在

测试集上意图识别的准确率为95.04%，语义槽填充的F1值为91.97％，知识蒸

馏后的3层BERT-WWM模型两项指标分别达到了90.11%和86.14%。进行了了

多组对比实验，分析并验证了本文方法的有效性。此外，为尽可能降低模型知识

蒸馏带来的性能损耗，本文采用多种数据增强策略，对构建的数据集进行了数据

增强，并在对比实验当中证明了数据增强的有效性。

实验结果表明，基于Transformer的预训练语言模型能够学习自然语言中深

层次的语法和语义信息，根据上下文语境动态调整输入的语义向量表示，相较于

N-gram、Word2Vec等语言模型表示能力更强，但也对算力提出了更高要求。本

文提出的联合学习方法具有较好的鲁棒性，进一步提高了对话系统的识别准确

率。融入领域词典信息的预训练目标任务和多阶段预训练方法均能一定程度的

提升模型效果。经过知识蒸馏后的3层BERT-WWM虽然发生了一些性能损失，

但是已经具有了可以与原始BERT-base模型相媲美的性能表现，可以进一步降

低对话系统的迟滞感，提升了模型的可部署性。

关键词：

对话系统，预训练语言模型，混合网络模型，意图分类，知识蒸馏

Abstract

Researchondialoguesystemineducationfield

The21stcenturyhasenteredthe2020s,andtherapidde