CN119646774A 针对文生图大模型生成内容的安全风险检测方法、装置 （国家广播电视总局广播电视科学研究院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119646774A

(43)申请公布日2025.03.18

(21)申请号202411604764.1

(22)申请日2024.11.12

(71)申请人国家广播电视总局广播电视科学研究院

地址100866北京市西城区复兴门外大街2

号

(72)发明人李继龙郝洺施玉海冯海亮张翀

(74)专利代理机构工业和信息化部电子专利中心11010

专利代理师陈晓琪

(51)Int.Cl.

G06F21/16(2013.01)

G06V20/00(2022.01)

权利要求书2页说明书7页附图2页

(54)发明名称

针对文生图大模型生成内容的安全风险检

测方法、装置

(57)摘要

CN119646774A本发明提出了一种针对文生图大模型生成内容的安全风险检测方法、装置，该方法包括：基于预设的测试数据库，根据测试参数选择测试类别，根据测试类别从测试数据库中匹配对应的数据集；将数据集中的关键词按照正向提示词的格式批量输入到被测大模型中；对被测大模型根据输入的提示词生成的相应图片或视频图像进行内容安全检测；对被测大模型根据输入的提示词生成的相应图片或视频图像进行水印标识检测；根据内容安全检测结果和水印标识检测结果，分析得到检测报告。本申请根据测试数据库，基于输入提示