腾讯 大模型和智能体安全风险治理与防护.pptxVIP

大模型和智能体安全风险治理与防护分享人：李滨2025年7月8日

AI技术带来新的生产驱动力，企业数字化进入“大模型时代”Deepseek-R1NLP神经网络2013AlexNet2012GPT-4GeminiGPT-O3QWEN-3混元ResNet2015AlphaGo联邦学习2016Transformer2017深度学习2006图神经网络2005CgatGPTBP算法1986条件随机场2001BERT2018语义网络线路图1998深蓝击败卡斯帕罗1995XCON1980算力瓶颈1990支持向量1995专家系统1968计算机视觉1976AI进入“大模型”时代知识表征1974感知机1957达特茅斯会议1956AI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。

大模型在企业应用场景中的十大常见安全风险010203040506样本投毒（数据污染）自建模型平台暴露面过大模型数据和隐私泄意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用误用模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪）

人工智能与大模型的风险组成结构大模型应用的安全风险结构大模型应用安全?敏感信息泄露风险：越狱攻击输出受控内容；?应用开发安全风险：编码规范、风险开源组件；?应用服务风险：api攻击，web服务攻击、ddos攻击；?业务安全风险：批量注册、恶意引导、内容爬取；大模型运行环境安全?开发框架风险：框架漏洞(包含组件漏洞)；?开放数据集及训练工具风险；?污染的开放数据集风险；大模型本体内生安全训练推理部署?数据泄露的风险(私有数据集、模型文件、个人隐私)；?供应链安全风险：木马后门、组件漏洞；?越狱风险；?prompt指令数据泄漏；大模型基础设施安全?基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；?基础设施的运维安全性：误操作、违规操作；

大模型越狱攻击方法和威胁模型

MCP协议和应用生态风险：从传统漏洞到AI控制系统性的安全疏忽传统漏洞攻击链放大新的供应链安全风险针对AI的新型混合攻击混淆代理人问题MCP协议设计初期以“便利”和“易用”为主要考量，缺乏基础安全控制机制经典安全漏洞在AI环境中被显著放大，升级为控制面攻击社区驱动的生态系统缺乏治理，形成信任匮乏的软件供应链结合传统漏洞与AI特性的新型攻击模式，实现语义层面的控制权限传递不一致导致的越权访问和权限滥用?工具投毒（ToolPoisoning）?规划线路僭越（LineJumping）?存储式提示注入?身份管理一致性缺失?权限提升攻击?身份认证机制缺失?权限控制不足命令注入（43%实现存在）SSRF（30%实现存在）路径遍历（22%实现存在）SQL注入转提示注入??MCP生态的漏洞债务“木偶”攻击/恶意服务器伪装????双向混淆代理人风险?缺乏审计追溯能力?默认配置不安全??级联幻觉攻击?多智能体系统复杂性??“地毯抽拉”攻击(RugPull)跨服务器恶意调用链?RAG上下文污染12345MCP与Agentic场景下攻击链的变化：发现传统应用漏洞（如SQL注入）注入恶意提示到数据库AI读取被污染的执行恶意指令控制AI行为横向移动扩散影响上下文

智能体应用场景的主要风险点幻觉/校准不足/对抗样本推理劫持/模型规避Agent集群本地MCP服务提示词注入/泄露/混淆/绕过违规输出/信息泄露侧信道注入/篡改/欺骗主Agent模型层交互层工具（Tools）LLM大语言模型STDIO记忆投毒/篡改/注入意图劫持/操纵/混淆决策干扰/注入(推理?理解?生成?规划)提示词(Prompt)用户认知层资源(Resource)提示词注入/信息泄露本地越权访问/敏感信息窃取命令注入/代码执行感知认知与意图管理记忆与状态管理输入(评估?决策?规划)(短期?长期?上下文)多模态交互接口文本/语音/视觉/图形跨智能体/信息域的越权访问远程MCP服务工具交互层执行结果工具选择与调用逻辑工具（Tools）环境交互层事件服务通讯投毒/篡改/注入感知与观察Agent通信与协作提示词(Prompt)资源(Resource)知识库（RAG）APIMCP/A2ASSE协调平台其他Agent其他Agent身份仿冒/越权访问流氓智能体/决策操纵LLMLLMMCPServerMCPServer代码执行ToolsToolsv3.4Author:freedemon@

大模型风险评估