02_刘伯仲_大模型平台与应用安全防护 .docxVIP

大模型平台与应用安全防护

分享人--腾讯混元安全–刘伯仲

目录

一 大模型安全攻防背景

二 大模型安全威胁分析

三 平台与应用安全防御

分享内容

一 大模型安全攻防背景

二 大模型安全威胁分析

三 平台与应用安全防御

大模型发展

大型语言模型（LLM)

?深度学习模型，属于NLP领域?包含数干亿（或更多）参数?目的是理解和生成自然语言

大模型风险

大模型平台

大模型企业等因为推理组件RAY漏洞被攻击者“劫持”平台算力，损失超10亿美元

大模型应用

ChatGPT因应用漏洞泄漏1.2%用户聊天数据，当天下线修复，OpenAICEO致歉

大模型开源

LLama-65B模型开源意外泄漏内部信息，HuggingfaceCEO声明禁止继续传播

分享内容

一 大模型安全攻防背景

二 大模型安全威胁分析

三 平台与应用安全防御

攻击大模型平台：供应链组件漏洞

HuggingFace组件漏洞（官方评级：严重）? 黑客通过窃取代码、模型和训练数据

攻击大模型应用：恶意Prompt攻击

攻击客户端

? 黑客通过ChatGpt恶意Prompt钓鱼，窃取隐私

攻击服务端

? 通过恶意Prompt攻击大模型应用服务器

新技术演进

攻击技术随着功能发展而更新

?检索增强（RAG）?思维链（COT）

?智能体架构（AgentServer）?终端助手（ComputerUse）?MCP安全

技术演进：利用智能体（Agent）风险

Agent技术引入

? 规划：预设Prompt工程（COT），拆解任务

? 记忆：知识库，short-term如多轮对话、longterm如

用户习惯

利用AgentServer缺陷

? 利用OpenAIGpts沙箱的权限配置缺陷，窃取智能体预

设Prompt工程和知识库

? 工具：插件/接口，文档解析、代码执行

技术演进：利用思维链（COT）风险

COT技术引入

? 牺牲时间提升准确：分步骤细分复杂问题为一系列更小、更简单的任务

利用COT缺陷

? 在ChatGPT对话中污染COT，嵌入恶意行为

技术演进：利用搜索增强（RAG）风险

RAG技术引入 利用检索让攻击者也“意外”场景?幻觉：模型受训练数据限制，提供虚假的信息 ? 采纳搜索增强推荐“钓鱼网站”中的脚本网络钱包失窃

?新闻：模型受训练时间限制，提供过时的信息

技术演进：智能助手（ComputerUse）风险

终端控制技术引入 利用ComputerUse给客户种马? 移动端：如智能点餐 ? 作恶不再“绕圈”

? PC端：如智能办公

技术演进：MCP安全风险 工具投毒攻击示例投毒工具描述：人不会留意，但大模型会读取

分享内容

一 大模型安全攻防背景

二 大模型安全威胁分析

三 平台与应用安全防御

应用：恶意Prompt防护

大模型对话场景

传统waf不适用

? 误杀：正常对话往往包含攻击代码

? 漏杀：恶意对话往往不包含攻击代码

意图识别后使用安全子模型防护? 规则库

? 安全子模型

应用：恶意Prompt对抗

安全对抗

? 查杀分离：捕获尝试绕过防护的高水平对手

? 运营提效：垂类大模型能力刻

画攻击链路辅助研判

方案 基于大语言模型

说明 基于大模型知识底座，利用SFT、Prompt工程、知识库等进行恶意攻击场景识别。

优点 ? 维护成本低

?有安全知识基础?场景泛化能力极

强

基于传统机器学习引擎

利用机器学习算法对大量的正常和恶意流量进行分析，对恶意流量分类

?无需规则维护?一定程度泛化

基于正则引擎

基于专家经验针对各种攻击类型提炼的特征正则，对流量进行正则特征匹配检测。

?开发成本低?更新成本低

缺点?幻觉消除成本高?分析结论不稳定

检测效果 ????维护效率 ????泛化能力?????

?数据量和质量要求高?不同攻击类型单独训

练

??????

? 规则数量大维护难

????

服务端安全

?

安全沙箱技术

将有风险的插件在沙箱中安全运行

? RCE：代码执行器、AgentWorkFlow（LangChain）? SSRF：文件解析、日历/地图（Tools）

? ChatGPT利用代码器 ? GPT4随之上线代码沙箱进行数学运算

服务端安全

产品 沙箱 类型 网络隔离

沙箱应用 O* gVisor 内核级 ?

敏感信息清 多用户隔 逃逸难理离度

? ? ???

? 安全架构：K8s+容器+沙箱

? 安全配置：网络