企业大模型安全威胁分析与防御体系构建 .docxVIP

主讲人安般科技汪毅2025年7月2日

第一批机器人罪犯已经出现

调试机器人失控 越狱攻击机器狗

客户迫切需要自部署大模型，模型安全成为落地最大障碍

大模型应用在多领域爆发，安全问题成为应用落地的“最后一公里”。

某政务大模型一体机临时工可获取机密信息

生物大模型知识充足输出病毒制作原理

大模型的普及打开了安全的潘多拉魔盒——

安全问题从少数厂商指数级传染到全部应用企业，如何监管和保护成了最大问题。

1.大模型失控（AISafety）：普遍的提示词攻击，例如：生物大模型制作病毒攻击、水利大模型破坏水利系统、新闻大模型宣扬恐怖主义、涉政涉黄等。

2.外部安全威胁（AISecurity）：未授权访问、数据泄露、实施数据投毒、参数窃取、恶意文件上传及关键组件删除。

AI玩具市场快速增长产生暴力色情内容

具身智能机器人失控攻击测试工程师

3.Agent/具身安全：Agent多智能体安全复杂度加倍，具身智能融合虚拟世界对物理世界产

生侵蚀，大模型控制的机器人失控产生人身安全威胁。

4.敏感数据安全：大模型访问敏感数据库，用户上传敏感商业和个人数据，传统身份访问管理(IAM)和数据丢失防护(DLP)解决方案难以应对大模型特有的信息推断风险。

Agent因为其行动能力带来更多的安全威胁

Agent类似操作系统，但因其具备自主能动性和智能能力，在寻求最优解的同时不可避免会带来违法违规、违背道德的问题。

感知 推理 规划 行动

智能体交互 记忆体交互 环境交互

Agent特点 特有的攻击面主要产生于于：工具/环境/Agent间交互，以及记忆问题

多个大模型之间协作完成任务，风险问题指数增加。

外界感知增加大模型的自主性，输入风险更高。

自动规划任务结果，不受人类的控制即可输出结果并执行，风险问题潜在且难以预料。

特有风险点检索记忆（特）工具交互环境交互

智能体之间交互

案例记忆污染攻击/敏感数据泄露/时间上下文混淆行为风险/越狱攻击/提示注入/操纵工具传感器欺骗攻击/物理执行反向攻击

身份冒充/通信漏洞/跨权限行为

与物理世界交互的具身智能更危险

具身智能因为其传感器众多且与物理世界紧密耦合，其安全挑战和风险都更大。

?对抗补丁，光影攻击，频谱攻击?对象检测：障碍擦除

?车道检测篡改：假车道?目标跟踪中断

?速度操纵

物理对齐风险 特斯拉故障车祸 工业机器人系统被黑

视觉攻击

弱口令导致的Mirai病毒感染，大量摄像头被控制

?GPS欺骗广播，

?伪距值和修改导航消息操纵感知位置

?可闻声外的声波攻击（利用音响/功放，注入声波控制导航）

?惯性运动单元，加速度计，陀螺仪

GPS欺骗 生产线机器人将工人误认为是货物，致死

声波欺骗

医疗机械臂故障

IMU欺骗

飞行器GPS欺骗

扫地机器人被黑

接近传感欺骗?激光雷达：用光电二极管同步操纵脉冲

延迟，假点注入传感器点云，致对象位置、导航错误。?超声波传感器：停车测距，操纵波的飞行时间，距离误

报。利用附近表面的回声和反射破坏障碍物检测。

?毫米波雷达：发射电磁波，通常与激光雷达和相机一起

超声波传感器 光学接近传感器 红外线接近传感器

用于鲁棒障碍物检测，操纵雷达信号来扭曲目标检测。

复杂的传感器环境数据组成了多模态组合式攻击面

大模型数据管理面临的威胁与挑战

应用过程中的数据安全风险风险 训练过程中数据集缺陷带来的风险

商业敏感信息泄露

?模型在对话场景可能记住并泄露用户输入的敏感商业信息。实验显示某些模型能还原输入数据中90%的信息。

?常见敏感信息：财务数据、代码数据、员工信息、商业合同…

1. 数据集内容安全：数据集中的数据内容包含个人隐私、违法违规、

有毒、偏见和歧视、恶意代码等问题，影响数

内部安全管理失序 据的使用。

?大模型可以“推理”出本应受限的敏感信息，传统身份访问管理(IAM)和数据丢失防护(DLP)解决方案难以应对LLM特有的“信息推断”风险。

?RAG知识库信息无差别调用，使得市场人员可以看到财务信息；实习生可以看到管理层信息。

2. 数据集质量低下：数据标签打错无校验、数据项无质量评估、数

据集的均衡性/多样性/重复度等效果不佳。

合法数据输入(客户行为日志) LLM内部知识关联引擎 推理

敏感信息泄露

(VIP客户资产规模) 3. 生成数据递归污染：

IAM权限放行

企业数据资产保护

DLP未出发警报

大模型应用管理

利用AI等技术生成的数据集容易和真实数据混合，污染真实数据；用于训练模型时容易影响

AI模型的效果。

现有数据安全管理方式在大模型面前已经失效

AI产生的实际风险已超出我们的预期

AI时代安全