CN113032568B 一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法 （同方知网(北京)技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113032568B(45)授权公告日2025.01.10

(21)申请号202110361114.9

(22)申请日2021.04.02

(65)同一申请的已公布的文献号申请公布号CN113032568A

(43)申请公布日2021.06.25

(73)专利权人同方知网(北京)技术有限公司地址100192北京市海淀区西小口路66号

东升科技园北领地A2楼

专利权人《中国学术期刊(光盘版)》电子杂志社有限公司

同方知网数字出版技术股份有限

公司

(72)发明人朱江程燕张振海

(74)专利代理机构北京天奇智新知识产权代理有限公司11340

专利代理师陈新胜

(51)Int.CI.

GO6F16/35(2025.01)

GO6F40/30(2020.01)

GO6F40/295(2020.01)

GO6F40/216(2020.01)

GO6F40/242(2020.01)

GO6F40/211(2020.01)

(56)对比文件

CN111898024A,2020.11.06

马常霞等.中文对话理解中基于预训练的意图分类和槽填充联合模型.《山东大学学报(工学版)》.2020,第50卷(第6期),第68-75页.

审查员马婷婷

权利要求书2页说明书4页附图2页

(54)发明名称

一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法

(57)摘要

本发明公开了一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，包括：标注构建数据集，定义领域意图，明确意图分类、意图词槽，构建词槽对应的领域术语集，收集问题集，标注问题意图分类和词槽信息；根据标注的问题和对应的意图信息，生成句型模式，用于意图识别模型推理阶段的匹配验证；基于bert+bilstm+

CN113032568Bcrf构建查询意图识别模型。本发明融合槽位词典匹配，句型模式分析，基于bert+bilstm+crf的槽位实体识别，基于bert的意图分类，较好的解

CN113032568B

开始

开始

数据预处理

训练数据集构建测试数据集构建(问句+意图+词槽)

意图分类

反馈

槽位填充

意图识别模型

模型预测

结束

优化

CN113032568B权利要求书1/2页

2

1.一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述方法包括：

步骤A标注构建数据集，定义领域意图，明确意图分类、意图词槽，构建词槽对应的领域术语集，收集问题集，标注问题意图分类和词槽信息；

步骤B根据标注的问题和对应的意图信息，生成句型模式，用于意图识别模型推理阶段的匹配验证；

步骤C基于bert+bilstm+crf构建查询意图识别模型；

所述步骤B中模型推理阶段的匹配验证使用两种句型模式，第一种是槽位意图模式，即将标注数据只保留其槽位标签和意图分类标签形成的矩形模式，该模式应用于对神经网络模型识别结果的验证，当识别结果与该模式一致，选择信任识别结果，返回识别结果；第二种模式依赖于依存句法分析，在句法分析结果基础上选择性地保留句子成分，组成句法模式；

所述方法还包括意图识别模型的推理以及对模型的预测；所述意图识别模型的推理包括：按类训练数据形式预测意图，第一类训练数据形式预测意图，问题不做任何处理，直接输入模型，预测槽位值的起始结束位置、词槽名称和问句意图分类；

假设预测阶段输入的问句中包含模型中从未见过的槽位值，模型给出正确的识别结果，且模型给出的结果中包含槽位值，并判定这个槽位值的类型，然后将原始问句在槽位值类型词典中做匹配；如果不能匹配，则槽位识别错误或者该槽位值没有收录在词典中，模型的识别结果不能采信；如果匹配到了槽位值，但词典匹配的结果出现多个不同的解释，则转入第二类训练数据的方式；如果词典匹配只给出了单一解释，则将模型的识别结果转换为第一类句型模式，并将句型模式在有训练数据获取到的第一类句型模式中做匹配，如果模式存在，则选择相信模型的识别结果，将识别结果返回，如果不能匹配，不能信任模型的识别结果；则通过第二类句型模式进行匹配即第二类训练数据的方式。

2.如权利要求1所述的基于bert+bilstm+cr