常见数据安全风险解析广东机电72课件讲解.pptxVIP

常见数据安全风险解析AI安全运维课程·第1.2节广东机电职业技术学院

眼见不为实：2亿港币的教训Deepfake诈骗案(2024)受害者：香港某跨国公司员工。场景：多人视频会议,CFO和同事都在。真相：除了受害者,其他人全是AI换脸生成的假人。损失：2亿港币。思考：作为运维人员,你能拦截这次攻击吗？

AI安全风险的三座大山输入端攻击对抗样本（欺骗AI）数据投毒（教坏AI）模型端攻击模型逆向（偷取配方）成员推断（偷取隐私）运维端风险API越权（门没锁）内部泄露（家贼难防）

对抗样本：AI的视觉错觉原理：在图片上添加人眼看不见的噪点。现象：人眼看：这是一只熊猫。AI看：99%确信这是长臂猿。比喻：就像给AI戴了一副哈哈镜,它看到的世界被扭曲了。

贴纸如何引发车祸？场景：自动驾驶汽车识别路牌。攻击手法：在红色的STOP牌上贴几个黑白贴纸。后果：人类：觉得路牌脏了,照样停车。AI算法：识别为限速45。结局：车辆加速冲过路口→致命事故。这叫物理对抗攻击。作为运维,如果摄像头的输入数据没做预处理,这种攻击防不胜防。

数据投毒：在教材里下毒定义：攻击者在训练数据里混入恶意样本。平时模型表现一切正常触发一旦看到特定标志（如图片右下角有个红点）执行立即执行错误指令比喻：就像教小孩认字,故意教他看到红灯要踩油门。

模型逆向：偷走配方背景：大模型（如GPT-4）的参数是商业机密。攻击方式：黑客通过API不断提问（Query）。分析AI的回答模式。复刻出一个功能一模一样的模型。危害：知识产权被盗,公司核心资产归零。这叫模型窃取。你们以后部署模型时,必须要在API设限流,防止别人通过大量请求把模型偷走。

成员推断攻击隐私噩梦01问题：黑客问AI：张三在你的训练数据里吗？02AI回答：置信度99.9%。03场景：如果这是一个艾滋病治疗模型。04结论：张三是艾滋病患者→隐私彻底泄露。

不仅仅是算法,还有传统艺能AI系统也是软件系统。传统Web安全的漏洞,AI一个都不少。API接口权限管理人员意识

API接口越权：裸奔的AI现象：很多AI服务只关注模型效果,忽略了接口安全。IDOR(越权访问)：正常请求：GET/api/chat_history?user_id=1001黑客修改：GET/api/chat_history?user_id=1002结果：直接看到了别人的聊天记录。危害：ChatGPT早期就出过这种BUG,泄露了用户对话标题。

内部威胁：防不胜防内部威胁外部攻击统计：超过60%的数据泄露源于内部。典型场景：误操作：把包含APIKey的代码上传到GitHub公开仓库。权限过大：实习生拥有生产数据库的删除权限。恶意泄露：离职前拷贝核心数据集。

人脸识别破解目标：绕过手机/门禁的人脸识别。手段：照片活化：让静态照片眨眼、点头（Deepfake）。3D面具：高精度3D打印。对抗眼镜：戴上一副特制花纹眼镜,识别系统失效。教训：生物特征认证不是绝对安全的。

AI安全风险清单输入阶段对抗样本（欺骗）数据投毒（埋雷）模型阶段模型逆向（偷参数）成员推断（偷隐私）运维阶段API越权（乱访问）内部泄露（Key管理不当）

我们该怎么防？?面对这些风险,我们运维能做什么？数据要洗澡使用Pandas清洗脏数据。隐私要打码使用正则和Faker脱敏。日志要监控分析Log里的异常访问。这些都是后续8周我们要亲手实验的内容！

课后作业准备你的武器1环境检查确认VSCode和uv已安装（参考手册）。2预习搜索PythonFaker库,看看它是怎么造假数据的。3思考题如果是你,你会如何检测一张图片是不是Deepfake？