AI时代大模型安全风险与应对思路.docx

网络安全

网

络

FCIS2023创新大会

Al时代大模型安全风险与应对思路

火山引擎大模型安全产品负责人郭建新

FREEBUF

FCIS2023IEREEBUF|

FCIS2023

02|业务分析04|安全方案01|大模型的安全挑战03

02|业务分析

04|安全方案

lFREEBUF|FCIS2023

1.1Gartner2024年十大科技趋势

Al信任、风险和安全管理：TRiSM

Al信任、风险和安全管理：TRiSM

-隐私数据保护

-内容异常检测

-对抗性防御-Al应用安全

-可解释性和透明性

-模型运维(ModelOps)

口A信任、风险和安全管理

口Al增强开发口智能应用

口增强型互联员工队伍口持续威胁暴露管理口机器客户

口可持续技术口平台工程

口行业云平台

颁发机构政策和规范名称网信办《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《关于加强互联网信息服务算法综合治理

颁发机构

政策和规范名称

网信办

《网络信息内容生态治理规定》

《互联网信息服务算法推荐管理规定》

《关于加强互联网信息服务算法综合治理的指导意见》

《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》

国家标准委员会

《国家新-代人工智能标准体系建设指南》

全国信息安全标准化技术委员会

《生成式人工智能服务安全基本要求》《生成式人工智能服务内容标识要求》

lFREEBUF|FCIS2023

颁发机构

政策和规范名称

中央办公厅

《关于加强科技伦理冶理的意见》

国家新一代人工智能治理专业委员会

《新一代人工智能治理原则一发展负责任的人工智能》《新代人工智能伦理规范》

全国信息安全标准化技术委员会

人工智能伦理安全风险防范指引》

信息化标准委员会

《人工智能伦理治理标准化指南》

科技部

《科技伦理审查办法(试行)(征求意见稿)》

人民银行

《金融领域科技伦理指引》

lFREEBUF|FCIS2023

1.3大模型的挑战

大模型迅猛发展，对个人隐私保护，社会伦理和系统安全产生巨大挑战!构建大模型安全系统势在必行

lFREEBUF|FCIS2023

2.1大模型和核心业务流程

模型精调模型使用者结合知识库进行模型精调，形成特定业务领域的服务

模型精调

模型使用者

结合知识库进行

模型精调，形成特

定业务领域的服务

模型应用

模型使用者

发布模型应用，并对外提供服务

模型供应方

研发人员开发、

训练形成模型

模型供应方

构建最终模型镜像，并利用大模型

平台发布模型

lFREEBUF|FCIS2023

2.2大模型平台

模型使用者口

模型使用者

贝活精调企业服务火山引擎模型供应方口大吞吐量低延时的IO√

贝活精调

企业服务

火山引擎

模型供应方

安全互信充沛

安全互信

充沛力

方：安

2.3大模型核心系统流程

代码仓库

开发训练

训练数据

镜像仓库

模型发布

基础模型

lFREEBUF|FCIS2023

模型精调模型应用

知识库精调模型

lFREEBUF|FCIS2023

2.4大模型重点保护对象

1训练数据：提供方的业务资产

O核心信息口核心业务数据口平台系统自身②

O

核心

信息

口核心业务数据

口平台系统自身

3精调知识库：使用者的业务资产

O…④模型输出：大模型业务的价值载体

O…

lFREEBUF|FCIS2023

3.1生成式人工智能服务管理暂行办法

1、备案要求

第十七条：并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续

2、数据要求

第七条：合法来源的数据、知识产权保护、个人信息保护、真实性、准确性、客观性、多样性

第十一条：提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法

留存

能够识别使用者身份的输入信息和使用记录

3、模型要求

第七条：使用合法来源的基础模型

3.2生成式人工智能服务安全基本要求

语料安全

语料安全

1.

1.语料黑名单、内容过滤

2.来源可追溯

3.语科知识产权管理和投诉果道

4.生物信息语料要获得授权或满足合法条件

5.语料标注需要审核员检查

lFREEBUF|FCIS2023

模型安全

模型安全

1.必须使用已备案模型

2.训练过程中内容安全是强要求

3.每次对话中要对用户输入做安全检查，发现问题

要针对性迭代到模型训练中

4.服