人工智能安全技术手册.docxVIP

安全技术手册

第一章安全基础与风险认知

第一节安全威胁演进趋势

随着式的爆发式增长，攻击者正从传统的“注入式”攻击向“对抗式”和“自动化”攻击演进，利用大（LLM）的自主推理能力构建更高级的自动化攻击链。例如，攻击者不再依赖预定义的脚本，而是通过提示词工程（PromptEngineering）定制恶意指令，诱导模型包含恶意代码、钓鱼或逻辑漏洞的响应，这种“提示词注入”已成为新型威胁的主要形式。联邦学习中的数据泄露风险因模型训练数据的集中化而显著增加，攻击者可能通过逆向工程泄露训练集中的敏感个人信息（PII）。据统计，针对联邦学习场景的逆向工程攻击成功率在2023年达到了15.8%，攻击者利用差分隐私参数微调技术，在保持模型性能的同时窃取训练数据中的隐私特征。

深度伪造（Deepfake）技术结合内容（GC），使得伪造视频、音频甚至实时语音变得难以分辨，这直接威胁到身份认证、金融交易和公共安全领域。例如，攻击者利用换脸技术伪造名人视频进行诈骗，或伪造医疗专家视频指导手术，导致虚假医疗咨询或欺诈事件频发，相关欺诈损失年均增长率超过12%。对抗样本攻击利用数学优化算法在图像、文本甚至音频上人为制造微小扰动，导致深度学习模型在测试阶段产生错误预测。在医疗诊断场景中，微小的对抗样本可能被用来误导识别出癌症，从而延误治疗，这要求开发者在模型训练阶段引入