人工智能安全技术与应用手册.docxVIP

安全技术与应用手册

第1章安全基础理论与法规框架

1.1安全风险图谱与分类

基于攻击面分析，攻击者首先利用大（LLM）的“提示注入”（PromptInjection）漏洞，通过构造恶意输入绕过模型安全护栏，诱导模型泄露敏感信息或执行未授权的指令。相关数据表明，2023年某跨国科技巨头因未对LLM输入进行严格过滤，导致3名员工在4小时内被植入恶意代码并窃取内部商业机密，损失达150万美元。模型存在“数据幻觉”（DataHallucination）风险，即在缺乏事实依据的情况下看似合理但完全虚构的文本，这种风险在式应用中尤为突出，可能导致决策系统基于错误信息做出灾难性后果。

模型“越狱”（Jailbreaking）攻击利用特定技术路径绕过预设的安全对齐协议，使模型在特定上下文中表现出攻击者的意图，如仇恨言论、伪造医疗诊断或进行社会工程学攻击。数据泄露风险指攻击者通过爬取公开数据训练模型，或攻击者直接获取训练数据导致模型“记忆”敏感信息，一旦模型被注入后门，后续所有基于该模型的内容都将包含恶意逻辑。模型推理过程中的“侧信道攻击”风险，即攻击者通过分析模型输出的延迟、功耗或内存访问模式，推断出模型的内部结构或训练数据分布，从而进行针对性的强化学习攻击。

模型“幻觉”与“偏见”的交互风险，当模型在特定文化或社会背景下产生偏见时，若缺乏有效的去偏见