智能体运行时安全防护技术要求
编制说明
目的意义
随着大语言模型能力的快速提升,智能体已从简单的对话助手演进为能够自主感知、推理、规划并调用工具执行复杂任务的自治系统。与传统应用相比,智能体的推理路径不可完全预测,输出不稳定,可能伪造理由、隐藏过程,为完成任务可能选择高风险路径,且不具备人类员工的责任、伦理和组织约束,传统安全防护手段难以有效覆盖。智能体运行时面临提示词注入、越狱、目标劫持、工具滥用、供应链投毒、敏感信息泄露、远程控制等多种安全威胁;单次行为可能看似正常,连续行为却构成攻击链,记忆投毒等攻击跨交互持久存在,传统单点防护策略难以应对。
运行时安全直接关系到智能体执行任务过
原创力文档

文档评论(0)