多模态大模型安全评估指南.pdfVIP

ICS

CCS

31

上海市地方标准

DB31/TXXXX—XXXX

多模态大模型安全评估指南

Guidelinesforsafetyassessmentofmulti-modallargemodels

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

上海市市场监督管理局  发布

DB31/TXXXX—XXXX

目次

前言II

1范围1

2规范性引用文件1

3术语和定义1

4概述1

5安全风险分类1

5.1包含违反社会主义核心价值观的内容2

5.2包含歧视性内容2

5.3商业违法违规2

5.4侵犯他人合法权益2

5.5有害和不良导向内容2

5.6应答尽答评估3

5.7无法满足特定服务类型的安全需求3

5.8其他风险3

6评估要点3

6.1文生文评估要点3

6.2文（图）生图评估要点4

6.3文（图、视频）生视频评估要点5

6.4文生音频评估要点6

6.5图生文评估要点7

6.6多模态结合评估要点8

7评估实践8

7.1评估方法8

7.2评估流程9

7.3评估报告10

附录A（资料性）多模态大模型安全评估要点示例11

附录B（资料性）多模态大模型安全评估报告模板15

参考文献26

I

DB31/TXXXX—XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由上海市互联网信息办公室提出并组织实施。

本文件由上海市信息安全标准化技术委员会归口。

本文件起草单位：上海人工智能实验室、上海市信息安全测评认证中心、公安部第三研究所、上海

网之易璀璨网络科技有限公司、上海稀宇科技有限公司、上海喜马拉雅科技有限公司、蚂蚁科技集团股

份有限公司、上海观安信息技术股份有限公司、上海商汤智能科技有限公司、上海宽娱数码科技有限公

司、上海数据交易所有限公司、上海合合信息科技股份有限公司、达观数据有限公司、招商银行股份有

限公司上海分行、算丰科技（北京）有限公司上海分公司。

本文件主要起草人：

II

DB31/TXXXX—XXXX

多模态大模型安全评估指南

1范围

本文件提供了多模态大模型在生成内容安全方面的评估指导，给出了安全风险分类、评估要点及评

估实践。

本文件适用于拟上线备案的多模态大模型开展安全评估活动，也可为主管部门、第三方测评机构或

企业自身进行安全性评估提供参考。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。