2025大型语言模型LLM安全风险案例与防御策略研究报告 .docxVIP

大型语言模型(LLM)安全风险、案例与防御策略

PreparedbyChaMD5SecurityTeamAIGroup

author@bayuncao｜editor@qwrdxer

2025.04.12

Page1of27

ChaMD5安全团队AI组

这是ChaMD5安全团队AI组的第一篇关于大语言模型（LLM）的安全研究报告，尽管团

队在AI安全领域已经有了一定的积累，但由于是初次撰写报告，我们深知在专业性与严谨性方面

可能存在着诸多不足。真诚地希望各位读者老师能够不吝赐教，对报告中的任何问题提出宝贵的

意见与建议，帮助我们不断改进与提升。

1.引言

2.LLM安全格局：机遇与风险并存

3.剖析核心风险：OWASPLLMTop10(2025版)详解

4.真实世界的威胁：LLM与供应链安全案例研究

4.1.案例研究：数据投毒-PoisonGPT实验

4.2.案例研究：软件供应链攻击-PyTorchtorchtriton事件

4.3.启示与影响

5.安全构建：LLM开发与防御框架及工具

5.1.开发编排框架：LangChain

5.2.防御工具：RebuffAI

5.3.防御工具：Garak

5.4.其他相关工具

5.5.LLM安全工具比较

6.建议与未来展望

7.附录

7.1.关键术语解释(GlossaryofKeyTerms)

7.2.OWASPTop10forLLMApplications(2025版)完整列表

7.3参考引用

Page2of27

ChaMD5安全团队AI组1.引言

这篇报告旨在概述当前LLM面临的主要安全风险，特别是基于OWASPTop10forLLM25年

更新版的核心发现。报告将通过分析真实世界的安全事件（如数据投毒和供应链攻击），阐释这些风

险的实际影响。

此外，报告还将介绍用于LLM应用开发和防御的关键框架与工具，并最终提出一系列建议，以

帮助企业及组织构建和部署更安全的LLM应用程序。

2.LLM安全格局：机遇与风险并存

大型语言模型(LLM)正以前所未有的速度改变着各行各业，从自动化客户服务、生成营销内容

到辅助软件开发，其强大的自然语言处理能力和快速推理能力为组织带来了显著的生产力提升和商业

价值。

然而，这种变革性的力量伴随着一个新兴且复杂的威胁环境。

LLM的广泛采用速度常常超过了对应的安全措施的发展，暴露出严重的安全隐患。这些模型引

入了独特的安全漏洞，同样这些漏洞超出了传统软件安全的范畴，涉及训练数据、模型本身、供应链

以及与外部系统的交互等多个层面。例如，模型可能被诱导泄露敏感信息、生成有害内容或被恶意输

入操控（即提示注入）。

为了应对这一挑战并提供指导，OWASP发起了“大型语言模型应用Top10”项目。这是一个

由全球超过500名专家和150多名活跃贡献者协作努力的成果，旨在识别和排序LLM应用中最关

键的安全漏洞。该列表不仅提高了人们对这些风险的认识，还为设计、构建和部署利用LLM技术的

应用提供了实用的安全指导。值得注意的是，该项目已发展成为“OWASPGenAI安全项目”，反

映了其关注范围的扩大和重要性的提升。OWASPLLMTop10列表会定期更新（例如2025版的发

Page3of27

ChaMD5安全团队AI组布），以反映不断变化的威胁和新的研究发现，凸显了LLM安全领域的动态性。

这种动态性意味着LLM安全是一个需要持续关注和投入的领域。仅仅一年前被认为是关键的威

胁，可能随着模型架构的演进、新的攻击技术出现以及防御策略的进步而发生变化。组织必须保持警

惕，不断学习和调整其安全态势以应对新出现的风险。

在此背景下，像OWASPTop10这样的标准化框架变得至关重要。它们为开发者、安全专业人

员和决策者提供了一个共同的理解基础和沟通语言，帮助他们在复杂的LLM安全领域中识别、评估

和优先处理最关键的漏洞。这种基于广泛共识的方法有助于将资源集中在最需要关注的领域。

此外，OWASP列表强调了LLM安全的整体性。风险不仅存在于模型本身，也贯穿于其整个生

命周期和生态系统，包括训练数据的完整性、第三方组件和依赖项（供应链）、插件的安全性以及模

型输出的处理方式。因此，采取全面的、覆盖整个LLM操作生命周期的安全视角对于有效的风险管

理至关重要。

3.剖析核心风险：OWASPLLMTop10(2025版)详解

OWASPTop10forLLMApplicatio