CN120257970A 大语言模型的输出检测方法、装置、电子设备及存储介质 （深圳云天励飞技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120257970A(43)申请公布日2025.07.04

(21)申请号202311870542.X

(22)申请日2023.12.30

GO6F40/30(2020.01)

GO6F16/35(2025.01)

(71)申请人深圳云天励飞技术股份有限公司

地址518000广东省深圳市龙岗区园山街

道荷坳社区龙岗大道8288号大运软件小镇36栋4F05

(72)发明人余晓填肖嵘陈宁

(74)专利代理机构深圳驿航知识产权代理事务所(普通合伙)44605

专利代理师张浠娟

(51)Int.CI.

GO6F40/205(2020.01)

GO6F16/36(2019.01)

GO6F40/169(2020.01)

GO6N5/022(2023.01)

权利要求书2页说明书12页附图3页

(54)发明名称

大语言模型的输出检测方法、装置、电子设备及存储介质

(57)摘要

CN120257970A本发明提供一种大语言模型的输出检测方法，包括：获取大语言模型对于提问文本的输出文本，以及获取提问文本所属领域的目标知识图谱，目标知识图谱包括提问文本所属领域的知识数据；对输出文本进行知识提取，得到输出文本的待检测知识数据；通过目标知识图谱对待检测知识数据进行检测，得到输出文本的知识检测结果。通过对大语言模型的输出文本进行知识提取，得到输出文本的待检测知识数据，利用所属领域的目标知识图谱对待检测知识数据进行检

CN120257970A

获取大语言模型对于提问文本的输出文本，以及获取提问文本所属领域的目标知识图谱

对输出文本进行知识提取，得到输出文本的待检测知识数据

通过目标知识图谱对待检测知识数据进行检测，得到输出文本的知识检测结果

101

102

103

CN120257970A权利要求书1/2页

2

1.一种大语言模型的输出检测方法，其特征在于，包括：

获取大语言模型对于提问文本的输出文本，以及获取所述提问文本所属领域的目标知识图谱，所述目标知识图谱包括所述提问文本所属领域的知识数据；

对所述输出文本进行知识提取，得到所述输出文本的待检测知识数据；

通过所述目标知识图谱对所述待检测知识数据进行检测，得到所述输出文本的知识检测结果。

2.如权利要求1所述的方法，其特征在于，在所述获取所述提问文本所属领域的目标知识图谱之前，所述方法还包括：

获取不同领域的实体词元以及关系词元；

对于一个领域的所述实体词元以及所述关系词元，通过所述关系词元对不同所述实体词元之间进行标注，得到知识数据，所述知识数据包括至少两个所述实体词元以及关联关系至少两个所述实体词元的至少一个所述关系词元；

根据不同领域的所述知识数据构建不同领域的知识图谱。

3.如权利要求2所述的方法，其特征在于，所述通过所述关系词元对不同所述实体词元之间进行标注，得到知识数据，包括：

将所述实体词元划分为主体词元和客体词元；

基于所述关系词元将所述主体词元与所述客体词元进行标注，得到知识数据。

4.如权利要求1所述的方法，其特征在于，在所述对所述输出文本进行知识提取，得到所述输出文本的待检测知识数据之前，所述方法还包括：

获取待训练的自然语言处理模型以及训练数据集，所述训练数据集包括样本文本以及所述样本文本的知识标签，所述待训练的自然语言处理模型的输入被构造为样本文本，所述待训练的自然语言处理模型的输出被构造为预测知识数据；

将所述样本文本输入到所述自然语言处理模型中，得到所述样本文本的预测知识数

据；

计算所述样本文本的预测知识数据以及所述样本文本的知识标签之间的损失值；

基于所述损失值对所述待训练的自然语言处理模型进行参数调整，并迭代参数调整过程，在训练完成后，得到训练好的自然语言处理模型，所述训练好的自然语言处理模型用于对所述输出文本进行知识提取。

5.如权利要求1所述的方法，其特征在于，在所述对所述输出文本进行知识提取，得到所述输出文本的待检测知识数据之前，所述方法还包括：

获取待训练的自然语言处理模型以及训练数据集，所述训练数据集包括样本文本以及所述样本文本的实体标签以及关系标签，所述待训练的自然语言处理模型的输入被构造为样本文本，所述待训练的自然语言处理模型的输出被构造为预测实