基于BERT-FNN的意图识别分类.docx

基于BERT-FNN的意图识别分类 摘要：意图识别分类是自然语言处理领域的一个热点问题，在智能机器人、智能客服中如何根据上下文理解用户意图是一个重点问题，同时也是一个难点问题。传统的意图识别分类主要是采用基于规则、模板匹配的正则化方法或基于机器学习的方法，然而却存在计算成本高、泛化能力差的问题。针对上述问题，本文设计以Google公开的BERT预训练语言模型为基础，进行输入文本的上下文建模和句级别的语义表示，采用[cls]符号(token)对应的向量代表文本的上下文，再通过全连接神经网络(FNN)对语句进行特征提取，为了充分利用数据，本文利用拆解法的思想，将多分类问题转换成多个二分类问题处理，每次将一个类别作为正例，其余类别均作为负例，产生多个二分类任务，从而实现意图分类。实验结果表明，该方法性能优于传统模型，可以获得94%的准确率。 0 引言近年来，信息技术正冲击着传统产业，它为人们提供了便捷的服务，如智能机器人、智能客服、人机对话等，它们的迅速发展为用户提供了一种简单、方便的沟通方式。其中，意图识别分类是问答系统的核心任务，是提高系统整体性能的关键意图识别的目的在于理解某一句话的意图，基本思想是:首先根据文本语义信息，定义可能出现的意图类别，然后采用自定义的分类方法，将该语句划分到事先定义的类别中一是基于规则、模板匹配的正则化方法。该方法针对特定问题，通过人工提取特定规则，来确定问题所属类型。如Ramanand等二是基于机器学习的方法。该方法通过对标注语料进行统计学习，把分类模型的选择和分类特征的提取作为重点研究对象三是基于深度学习的方法。该方法主要通过自我学习方式，学习句子的内在语义和句法特征1)基于CNN的意图识别:Kim2)基于RNN及其变体的意图识别:Ravuri等3)基于Attention机制模型的意图识别:Lin等4)基于BERT的意图识别:BERT模型的发布被认为是自然语言处理领域一个新时代的开始，在11项NLP任务中均取得了领先成就由于结合深度学习方法FNN及BERT在NLP领域的绝对优势，本文提出一种基于BERT-FNN的意图识别分类方法，首先以Google公开的BERT预训练语言模型为基础，进行输入文本的语义表示，再通过FNN对语句进行特征提取，并输入到sigmoid激活函数中进行分类。最后，与逻辑回归(LR)、支持向量机(SVM)、LSTM、BERT进行对比，实验结果表明，本文提出的BERT-FNN模型，在意图识别分类任务上可以获得94%的准确率，具有良好的性能。1 模型构建自从2018年10月底，谷歌宣布了BERT在文本分类、命名实体识别等11项自然语言处理任务中的出色表现后，BERT模型就被认为是自然语言处理领域新时代的开始FNN层通过增加隐藏层及神经元节点的数量，来获取更深层次的特征，并通过对前层的特征进行线性加权求和，将特征表示整合成一个值，从而减少特征位置对于分类结果的影响，将特征空间通过线性变换映射到样本标记空间，从不同角度对输入数据进行分析，得出该角度下对整体输入数据的判断，提高了整个网络的鲁棒性。本文提出的基于BERT-FNN的意图识别模型由输入层、BERT层、FNN层、分类层组成，具体如图1所示。1.1 BERT层1.1.1 BERT词向量层在BERT的词向量层中，将字变量(Token Embedding)、文本向量(Segment Embedding)和位置向量(Position Embedding)三者的和作为模型的输入目前，BERT预训练模型直接将单个字词作为构成中文文本的基本单位，并未分词，且在起始位置需要附加一个Token，记为[CLS]，对应模型的输出，用于表示整个句子的语义信息，并将其用于具体下游任务。在区分2个句子的句间关系时，BERT预训练模型使用一个特殊标记符[SEP]进行分割，具体如图2所示。1.1.2 BERT主模型结构由于BERT是预训练语言模型，只需要编码学习语义关系，不需要解码完成具体的任务，因此采用Transformer-Encoder模型1.1.3 BERT预训练目标事实上，BERT是语言模型，预训练过程的实质是通过不断调整模型参数，使模型输出的语义特征尽可能地刻画语言的本质。该模型包含2个预训练目标:掩码语言模型(Masked Language Model)和预测下一句文本(Next Sentence Prediction)。1) Masked Language Model。Masked Language Model是指在模型预训练的过程中，从原始文本信息中随机遮挡(mask)一些单词，然后通过BERT模型利用上下文的语义信息预测该单词。具体的执行