2025年大模型与智能体安全风险治理与防护腾讯.pptxVIP

大模型和智能体安全风险治理与防护分享人：李滨微信公众号：零竖质量

AI技术带来新的生产驱动力，企业数字化进入“大模型时代”专家系统1968知识表征1974XCON1980支持向量1995AlexNet2012联邦学习2016Transformer2017GPT-O3NLP神经网络2013ResNet2015算力瓶颈1990计算机视觉1976深度学习2006条件随机场2001GPT-4图神经网络2005BERT2018BP算法1986CgatGPTAI进入“大模型”时代感知机1957GeminiAlphaGoAI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。语义网络线路图1998深蓝击败卡斯帕罗1995达特茅斯会议1956Deepseek-R1QWEN-3混元微信公众号：零竖质量

大模型在企业应用场景中的十大常见安全风险样本投毒（数据污染）恶意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用误用0102030405自建模型平台暴露面过大模型数据和隐私泄露模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪）0607080910微信公众号：零竖质量

人工智能与大模型的风险组成结构大模型应用的安全风险结构大模型应用安全敏感信息泄露风险：越狱攻击输出受控内容；应用开发安全风险：编码规范、风险开源组件；应用服务风险：api攻击，web服务攻击、ddos攻击；业务安全风险：批量注册、恶意引导、内容爬取；大模型运行环境安全开发框架风险：框架漏洞(包含组件漏洞)；开放数据集及训练工具风险；污染的开放数据集风险；大模型本体内生安全数据泄露的风险(私有数据集、模型文件、个人隐私)；供应链安全风险：木马后门、组件漏洞；越狱风险；prompt指令数据泄漏；大模型基础设施安全基础设施自身的安全性：操作漏洞风险、计算资源漏 洞风险权限设置不当风险；基础设施的运维安全性：误操作、违规操作；训练推理部署大模型安全端到端过程的风险分析微信公众号：零竖质量

大模型越狱攻击方法和威胁模型微信公众号：零竖质量

MCP协议和应用生态风险：从传统漏洞到AI控制系统性的安全疏忽MCP协议设计初期以“便利”和“易用”为主要考量，缺乏基础安全控制机制身份认证机制缺失权限控制不足缺乏审计追溯能力默认配置不安全工具投毒（ToolPoisoning）规划线路僭越（LineJumping）存储式提示注入级联幻觉攻击RAG上下文污染针对AI的新型混合攻击结合传统漏洞与AI特性的新型攻击模式，实现语义层面的控制新的供应链安全风险社区驱动的生态系统缺乏治理，形成信任匮乏的软件供应链MCP生态的漏洞债务“木偶”攻击/恶意服务器伪装“地毯抽拉”攻击(RugPull)跨服务器恶意调用链混淆代理人问题权限传递不一致导致的越权访问和权限滥用身份管理一致性缺失权限提升攻击双向混淆代理人风险多智能体系统复杂性命令注入（43%实现存在）SSRF（30%实现存在）路径遍历（22%实现存在）SQL注入转提示注入传统漏洞攻击链放大经典安全漏洞在AI环境中被显著放大，升级为控制面攻击12345发现传统应用漏洞（如SQL注入）注入恶意提示到数据库AI读取被污染的上下文执行恶意指令控制AI行为横向移动扩散影响MCP与Agentic场景下攻击链的变化：微信公众号：零竖质量

智能体应用场景的主要风险点Agent集群主Agent模型层认知层LLM大语言模型(推理?理解?生成?规划)工具交互层工具选择与调用逻辑环境交互层感知与观察Agent通信与协作认知与意图管理(评估?决策?规划)记忆与状态管理(短期?长期?上下文)其他AgentLLMMCPServerTools本地MCP服务资源(Resource)工具（Tools）提示词(Prompt)交互层用户多模态交互接口文本/语音/视觉/图形事件服务其他AgentLLMMCPServerToolsSSESTDIO协调平台MCP/A2A感知执行输入结果远程MCP服务知识库（RAG）API工具（Tools）资源(Resource)提示词(Prompt)代码执行幻觉/校准不足/对抗样本推理劫持/模型规避记忆投毒/篡改/注入意图劫持/操纵/混淆决策干扰/注入提示词注入/信息泄露本地越权访问/敏感信息窃取命令注入/代码执行跨智能体/信息域的越权访问身份仿冒/越权访问流氓智能体/决策操纵通讯投毒/篡改/注入v3.4Author:freedemon@提示词注入/泄露/混淆/绕过违规输出/信息泄露侧信道注入/篡改