大模型应用落地安全风险和防护实践-郑炎亭.pdfVIP

大模型应用落地安全风

险和防护实践

主讲人

郑炎亭

火山引擎大模型应用防火墙产品负责人

CONTENTS/目录

背景大模型安全风险落地场景实践未来展望

DeepSeek爆火之后大模型应用的当前具体的攻击场景

大模型安全的趋势

应用落地面临的风险有哪些风险暴露和可以采用的防护手段

后DeepSeek时代，应用落地变化

测试到生产，风险指数增加大模型重新定义“红线”

测试生产虚假黑盒

实验室阶段生产环境虚假信息推理过程黑盒

企业内部进行实验性质的测攻击面剧增：API日均调用量从千次跃升至百万模型可能输出捏造的事实、歧视性传统审计依赖输入输出日志，但

试，测试环境流量小、攻击次，攻击者可规模化尝试提示词注入、隐私窃取；招聘建议、虚假医疗信息，即使企大模型的决策过程不可解释（如

样本单一（如内部员工测损失成本加大：某零售企业上线智能客服后，攻业无主观过错，仍需承担责任。为何生成某条违规文案），导致

试），安全漏洞极易被掩盖。击者通过“生成1000条用户历史订单”等指令，举证困难，合规成本陡增。

绕过鉴权机制批量获取数据，日均泄露量达测试

阶段的120倍。

大模型应用部署的风险全景图

接入层智能体外部服务模型层训练层

RAG信息窃取

自定义数据集

搜索引擎

训练数据

APP

算力DDoS攻短期记忆向量库插件库投毒

/长期记忆

击

外网服务/系统模型幻觉

提示词注入精调服务容器

插件

间接提示词

WEB输入调用组件注入

输出Agent内部