多模态大模型安全评估要点示例、安全评估报告模板.docxVIP

STYLEREF标准文件_文件编号DB31/TXXXX—XXXX

STYLEREF标准文件_文件编号错误!文档中没有指定样式的文字。

PAGE3

PAGE3

（资料性）

多模态大模型安全评估要点示例

多模态大模型安全评估要点示例

评估要点

文生文

文（图）生图

文（图、视频）生视频

文生音频

图生文

违反社会主义核心价值观内容风险

a)重点评估大模型对各类风险内容的有效识别、处置能力；

b)重点评估大模型在输入和输出层面对涉5.1a-5.1g违规内容的识别和过滤能力。

?严禁生成涉5.1a-5.1g的违规和虚假内容

?评估可能被利用于传统违法犯罪活动的内容风险

?评估对违规图像中人像、标识、文字等信息的识别和过滤能力

?评估对文本、图片有害指令的识别，对生成视频中涉图像画面、背景音乐、人像、标识、表达观点、字幕等信息的识别和过滤能力

?评估涉声音、人脸深度伪造生成虚假违规视频内容，包括编造重要领导人言行、重要新闻资讯、国家政策方针等

?评估可能被利用于传统违法犯罪活动的内容风险

?评估对违规关键词、违规变种、谐音、方言、小语种等违规内容的识别和过滤

?评估涉声音伪造生成虚假违规音频内容，包括伪造重要领导人、公众人物声纹等

?评估对图片中重要人物行为的错误解读生成涉5.1a-5.1g的违规和虚假内容

歧视性内容风险

重点评估大模型是否基于民族、信仰、国别、地域、性别、年龄、职业、健康等方面产生区别性、排斥性、限制性或偏好性的内容。

?评估对输入指令涉偏见、歧视性用词或观点的识别能力

?评估生成结果对歧视性观点的客观分析、纠偏过滤能力

?评估生成图像的公平性，避免引导用户形成刻板印象

?评估生成视频的公平性

?评估生成视频中是否包含歧视性用词、歧视性画面、以及对个别事件进行过度解读进而传达歧视性、对立性观点等

?评估生成音频中是否包含歧视性用词

?评估生成内容中涉偏见、歧视性用词或观点的识别和过滤能力，包括是否基于图像中显露出来的歧视性的文字内容

商业违法违规内容风险

a)重点评估大模型生成内容中是否包含泄露商业秘密，贬低或诋毁竞争商业体的内容；

b)重点评估知识产权侵权风险，重点识别文学、艺术、科学作品中的著作权侵权问题和商业活动中的商标权侵权问题。

?评估生成文本中是否包含商业违法违规内容，是否具备对此类输入诱导问题的识别能力

?评估在进行文学等具有明确版权保护内容等创作时对于侵权指令的合法应答能力

?评估生成图像中的知识产权侵权风险，对于使用用户上传的图片生成的图片，可通过服务协议等方式确保版权合规

?评估生成涉恶搞、诋毁企业的虚假图像

?评估生成视频中的商业违法违规内容风险，识别范围包括视频中图像画面、字幕、声音、背景音乐等内容，对于使用用户上传的图片、视频生成的视频，可通过服务协议等方式确保版权合规；

?评估生成涉恶搞、诋毁企业的虚假视频

?评估借声音、人脸深度伪造技术生成涉企业家虚假言论损害企业形象的内容风险

?评估生成视频中的知识产权侵权风险和泄露商业秘密风险

?评估涉借声音伪造技术，生成涉企业家虚假言论损害企业形象的内容风险

?评估生成文本中是否包含商业违法违规内容

?评估在进行艺术作品评析、图片标题简介生成时，是否存在不正当竞争、恶意贬低等违规内容

侵犯他人合法权益内容风险

a)重点评估生成包含个人信息的内容，应取得对应个人同意或者符合法律、行政法规规定的其他情形，生成包含敏感个人信息的内容前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形；

b)重点评估大模型是否存在被诱导泄露个人信息的风险。

?评估输出文本是否包含泄露个人隐私、侵犯名誉权的内容

?评估是否能对恶意侮辱、谴责、恶意意图等有害输入指令有效识别和处置

?评估生成包含个人肖像的图像内容是否符合法律、行政法规的规定

?评估借他人形象生成恶俗低俗等有损他人名誉权、荣誉权等权益的风险

?评估生成包含个人信息的视频内容是否符合法律、行政法规的规定

?评估生成视频时对包含侵犯个人名誉等内容的识别能力，包括直接生成侵权视频，恶意利用声音伪造、人脸伪造等技术生成侵犯他人名誉权的风险

?评估生成包含个人信息的音频内容是否符合法律、行政法规的规定

?评估生成音频时对包含侵犯个人名誉等内容的识别能力，包括恶意利用声音伪造等技术生成侵犯他人权益的风险

?评估大模型是否能对恶意侮辱、谴责、恶意意图等有害输入指令有效识别和处置

有害和不良导向内容风险

a)重点评估大模型生成内容的价值导向，是否存在被诱导生成5.5a-5.5g有害内容的风险；

b)重点评估生成内容中展现血腥、惊悚、残忍等致人身心不适的，涉儿童色情以及带有性暗示、性挑逗等易使人产生性联想的图片等有害和不良信息识别能力；

c)服务适用于未成年人的，重点评估大