CN119294885A 客服话术质检结果确定方法、装置、设备、介质及产品 （中移智捷科技(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119294885A(43)申请公布日2025.01.10

(21)申请号202411290003.3

(22)申请日2024.09.14

(71)申请人中移智捷科技(北京)有限公司

地址102206北京市昌平区信息港西路8号

院3号楼-2至9层101内一层108申请人中移在线服务有限公司

中国移动通信集团有限公司

(72)发明人时磊韩彦阳张碧君吴煜哲

王东宾

GO6F40/30(2020.01)

GO6F16/35(2025.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/044(2023.01)

GO6N5/04(2023.01)

G10L15/22(2006.01)

G10L15/26(2006.01)

(74)专利代理机构北京路浩知识产权代理有限

公司11002专利代理师赵娜

(51)Int.CI.

GO6Q10/0639(2023.01)

GO6Q30/015(2023.01)

权利要求书2页说明书15页附图4页

(54)发明名称

客服话术质检结果确定方法、装置、设备、介质及产品

(57)摘要

CN119294885A本申请提供一种客服话术质检结果确定方法、装置、设备、介质及产品，属于人工智能技术领域，方法包括获取预设人员在对外服务或培训过程中产生的对话交互语音数据，根据对话交互语音数据确定客服话术、用户话术以及与客服话术对应的目标标准话术并输入至大型语言模型，得到质检结果；大型语言模型可基于预设指令和目标标准话术确定客服话术中单句话术对应的完整性指标评分、关键点指标评分、逻辑性指标评分和情绪指标评分以输出质检结果。本申请利用大型语言模型深入分析对话的完整性、关键

CN119294885A

性。

获取预设人员在对外服务或培训过程中产生的

获取预设人员在对外服务或培训过程中产生的

对话交互语音数据，根据所述对话交互语音数

据确定客服话术、用户话术以及与所述客服话

术对应的目标标准话术

输入所述客服话术、所述用户话术和所述目标

标准话术至预先训练完成的大型语言模型，确

定质检结果

S100

S200

CN119294885A权利要求书1/2页

2

1.一种客服话术质检结果确定方法，其特征在于，包括：

获取预设人员在对外服务或培训过程中产生的对话交互语音数据，根据所述对话交互语音数据确定客服话术、用户话术以及与所述客服话术对应的目标标准话术；

输入所述客服话术、所述用户话术和所述目标标准话术至预先训练完成的大型语言模型，确定质检结果；

其中，所述大型语言模型用于基于预设指令和所述目标标准话术确定单句客服话术对应的完整性指标评分、关键点指标评分、逻辑性指标评分和情绪指标评分，根据单句客服话术对应的所述完整性指标评分、所述关键点指标评分、所述逻辑性指标评分和所述情绪指标评分确定所述客服话术的综合评分，将所述综合评分作为所述质检结果。

2.根据权利要求1所述的客服话术质检结果确定方法，其特征在于，所述预设指令包括基于思维链和少样本学习方法确定的第一预设指令，所述大型语言模型用于基于所述第一预设指令，确定单句客服话术与对应的单句标准话术之间的语义相似度，根据所述语义相似度确定所述完整性指标评分，所述语义相似度和所述完整性指标评分正相关。

3.根据权利要求1或2所述的客服话术质检结果确定方法，其特征在于，所述预设指令包括基于思维链和一次学习方法确定的第二预设指令，所述大型语言模型用于基于所述第二预设指令，判定单句客服话术是否包含所有预设关键点，根据判定结果确定所述关键点指标评分。

4.根据权利要求3所述的客服话术质检结果确定方法，其特征在于，所述大型语言模型用于识别单句客服话术包含的关键点位置并生成关键点序列，根据所述关键点序列和预设关键点序列之间的最长匹配序列确定所述逻辑性指标评分。

5.根据权利要求1、2或4所述的客服话术质检结果确定方法，其特征在于，所述预设指令包括基于思维链确定的第三预设指令，所述大型语言模型用于基于所述第三预设指令，确定单句客服话术的情绪类别，根据所述情绪