人工智能与大数据安全手册（执行版）.docxVIP

与大数据安全手册（执行版）

第1章安全基础与风险认知

1.1安全概述与核心概念界定

安全是指保障系统、算法模型及训练数据在开发、部署、运行及全生命周期中，免受非法访问、恶意篡改、隐私泄露、模型投毒或逻辑漏洞攻击，从而确保其安全性、可靠性、可用性和可解释性的综合防御体系。“核心概念界定”在此处强调区分传统网络安全与安全的关键差异：传统安全关注主机和网络的完整性，而安全更侧重于数据隐私保护、模型鲁棒性以及对抗性攻击的防御，因为系统的攻击往往源于数据污染或样本偏差，而非简单的入侵。

在定义中必须明确数据主权的概念，即训练数据中蕴含的人类隐私信息（如身份证号、医疗记录）必须受到严格的法律约束和加密处理，防止数据在跨地域传输中被滥用。模型投毒是安全中的核心风险，指攻击者向训练集注入恶意样本，导致模型产生错误决策。例如，在医疗诊断模型中，若投毒样本为“误诊率高的图片”，模型将学会“只要症状相似就建议手术”，从而造成严重的误伤。数据泄露不仅指数据被窃取，还指数据在模型训练过程中被反向工程，导致敏感信息被还原。例如，通过深度伪造（Deepfake）技术，攻击者可能伪造真实的视频音频，导致用户隐私数据被永久记录。

模型失效表现为系统在特定场景下表现异常，可能是由于过拟合（在特定数据上表现极好但泛化能力差）或欠拟合（无法学习规律），这直接威胁到系统的实际落地效果和用