大模型安全风险与对抗实践培训.pdfVIP

大模型安全风险与对抗实践培训

京数安@2025

大模型安全培训、完整PPT获取：15901196167（同微）

目录Contents

01大模型全流程风险挑战

02实战攻击手法与防御策略

03安全建设与红队/渗透测试实践

01大模型全流程风险挑战

大模型全生命周期安全

标题代替位置

大模型的安全并非仅限于运行阶段，而是贯穿其整个生命周期—从最初的概念设计，到数据准备与训练，再到模型部署

和持续运维。每个阶段都有其独特的安全考量和潜在风险点。忽视任何一个环节，都会为后续阶段埋下安全隐患，形成

风险的累积效应。比如：在训练阶段发生的数据投毒，其恶劣影响会直接体现在运维阶段模型的输出质量和安全性上

NISTAI风险管理框架（AIRMF）

标题代替位置

采用全生命周期的视角来审视和管理LLM安全至关重要，NISTAI风险管理框架（AIRMF）所倡导的在AI生命周期每一

阶段识别、评估、管理风险

NIST与私营和公共部门合作，开发了

一个框架，以更好地管理与人工智能

（AI）相关的个人、组织和社会的风

险。旨在供自愿使用，并提高将可信

度考虑因素纳入AI产品、服务和系统

的设计、开发、使用和评估的能力。

帮助组织识别生成式AI带来的独特风

险，并提出最符合其目标和优先事项

的生成式AI风险管理行动

设计阶段

标题代替位置

安全风险主要源于对LLM应用场景、功能边界、安全需求和潜在威胁的认知不足。

1.安全需求定义不清：如果未能明确LLM应用所需处理的数据类型、敏感级别、用户范围以及可接受的风险水平，将导致安

全边界模糊，难以制定有效的安全策略

2.预训练模型的选择风险：许多LLM应用基于现有的开源或商业预训练模型进行微调。如果选择了来源不明、未经充分安全

审查或已知存在漏洞（如被植入后门）的预训练模型，就如同在不稳固的地基上建造大厦

3.缺乏安全设计原则：未能在架构设计中考虑基本安全原则，导致系统先天存在安全缺陷。例如，赋予LLM过高的默认权限，

或缺乏对敏感操作的审批流程。

4.对LLM特有风险的忽视：设计时若未充分考虑提示注入、数据污染等LLM特有攻击向量，相关的防御机制可能缺失。

数据准备与训练阶段

标题代替位置

数据是LLM的“食粮”，此阶段的安全风险主要围绕数据的质量、保密性和完整性展开

数据投毒：最核心的风险，攻击者向训练数据集中注入精心构造的恶意样本，以操纵模型行为（如产生特定偏见输出、在

特定条件下输出错误信息）或植入后门，考虑到LLM训练所需数据的海量性（常从互联网等多样化来源获取），全面审查

和净化数据极具挑战。

训练数据隐私泄露：如果训练数据中包含未脱敏的个人身份信息（PII）、商业机密或其他敏感内容，模型在训练过程中可

能“记住”这些信息，并在后续的交互中无意泄露

偏见引入与放大：训练数据中固有的社会偏见（如性别、种族歧视）被模型学习并放大，导致模型生成歧视性或不公平的

输出，引发伦理和合规风险。

数据标注错误或不一致：错误的标注可能导致模型学习到错误的模式，影响其准确性和可靠性

运维阶段

标题代替位置

模型上线运行后，面临持续的外部攻击和内部风险

提示注入：攻击者通过与运行中的LLM交互，输入恶意提示以控制其行为

不安全输出处理：LLM的输出直接用于驱动其他系统或展示给用户，若处理不当则引发下游风险

模型拒绝服务：恶意请求导致服务不可用

敏感信息泄露：模型在交互中泄露敏感数据

不安全插件：与LLM集成的插件存在漏洞被利用

过度代理/授权与过度依赖：用户或系统赋予LLM过多权限，或盲目信任其输出，导致风险。

模型窃取：通过API探测等手段尝试复制模型功能

日志与监控不足：缺乏对LLM交互、API调用、系统行为的充分日志记录和实时监控，导致难以发现攻击、定位问题和进行事后

溯源。

模型漂移与性能衰减：随着时间的推移和输入数据的变化，模型性能可能下降或行为发生漂移，若不及时监控和更新，可