第8课 人工智能安全-九年级信息科技（浙教版2023）.ppt

人工智能安全 WPS,a click to unlimited possibilities 目录 CONTENTS 01. 人工智能助力安全 02. 人工智能内生安全 03. 人工智能安全发展 人工智能助力安全 第一章节 人工智能安全的概念 人工智能技术具有安全赋能和安全伴生两大效应。所谓安全赋能是指人工智能为保障网络空间安全、提升经济社会风险防控能力等方面提供了新手段和新途径。所谓安全伴生是指当人工智能发展到一定阶段后，在不断的应用中发现新的安全问题伴生而来，其安全性将受到更严峻的挑战。 在公共安全领域，人工智能依托其强大的数据分析和自主学习能力，可以充分挖掘数据价值,预测预警经济社会运行中可能存在的潜在风险，在智能安防监控、恶意代码检测、垃圾邮件检测、用户实体行为分析等方面发挥助力安全的作用。 一、智能安防监控 安防监控涉及的人工智能技术有智能视频监控、体态识别与行为预测和智能安防机器人等技术。 智能视频监控能够将人的各种属性进行关联分析与数据挖掘，实现安防监管的实时响应与预警。以往的监控摄像头把图像、视频数据传输到服务端后再由服务端进行特定处理,近年来安防行业越来越多的数据和计算从云中心迁移到摄像头、传感器等“边缘”位置，用以节省带宽、提升服务响应速度与可靠性。基于边缘计算的入脸识别摄像头能够直接在本地设备上完成识别得到相关数据。在深山、矿井、远海航船等网络难以覆盖的地方，搭载边缘计算的视频监控系统能够实时处理数据，及时做出响应，确保安全。 二、垃圾邮件检测 人工智能技术发展的初期,使用规则对垃圾邮件进行检测。在垃圾邮件的检测中，当邮件中出现事先指定的一些可能属于垃圾邮件的词语时，这封邮件很可能就是垃圾邮件，当邮件里出现网址时，也可能是垃圾邮件。但随着规则越来越多，这样的检测系统也变得越来越复杂。机器学习算法可以自动地从数据的某些特征中学习它们之间的关系，并且通过对数据的不断学习，提升垃圾邮件检测的能力和性能。 人工智能安全的重要性 保护数据隐私：防止数据泄露和滥用，保障用户隐私 维护系统安全：防止黑客攻击和系统故障，确保系统稳定运行 保障算法公平：避免算法偏见和歧视，确保算法公平公正 促进技术创新：推动人工智能技术的安全发展，促进技术创新和产业升级 人工智能内生安全 第二章节 人工智能内生安全问题 人工智能可以助力安全，但人工智能系统涉及数据、框架,算法、模型、运行等多个复杂环节，这些环节都可能导致人工智能系统内在的安全问题。 1．数据安全 数据是人工智能的重要基础。数据集的质量会直接影响人工智能算法的执行效果。使用不同质量的数据集会在训练之后得到不同的模型参数，产生不同的执行效果，进而影响人工智能算法的安全性。 数据集的质量取决于数据集的规模、均衡性、准确性等。人为地对数据进行修改在很大程度上能改变夭工智能算法的执行效果。即便是已经用高质量数据集训练完毕的人工智能算法模型,只要对输入的数据进行一些人眼无法感知的微小扰动，即可让算法的输出产生巨大的变化，这些经过微小扰动的输入数据就是对抗样本。图8-1显示了对抗样本及其错误辨识的结果。 人工智能内生安全 定义：人工智能的安全性和稳定性 内生安全的重要性：保护AI不受恶意攻击 数据安全：保护AI处理的数据不被非法访问或篡改 算法安全：确保AI模型的决策过程不被误导或操纵 系统安全：保护AI系统不被黑客攻击或篡改 持续的安全研究：跟踪并解决AI安全问题 未来挑战：随着AI技术的发展，安全问题也将不断演变 对抗样本及其错误辨识结果 图8-1 对抗性攻击 如果恶意使用对抗样本，可以欺骗自动驾驶汽车，使其不能正确识别道路停车标志，从而引发事故;可以欺骗语音识别系统，让系统误认为是“主人语音”而执行虚假命令;可以入侵城市交通系统甚至武器系统。这种通过对抗样本对智能系统发起的欺骗被称为“对抗性攻击”。 2.算法安全 如果想保证算法的完全正确，需要从理论上对算法进行证明，证明算法在任何情况下都能产生正确的结果。 深度神经网络在很多领域能取得远超传统算法的准确率，但缺乏可解释性。针对不同任务需要多少隐藏层，每个隐藏层抽取了何种特征还未能完全说明。在一些对准确率要求高、可解释性要求强的场景中,神经网络造成的失误会产生巨大影响。人工智能算法可以借助海量数据进行自我学习和进化，可以在无人干预下自主处理问题，这也使得人工智能的行为和决策难以被事先预料和干预，从而增加安全风险。 3.模型安全 人工智能算法往往需要训练大量的模型参数，经过训练之后生成的模型一般以实体文件的形式保存在服务器。如果攻击者攻击了云端服务器，利用服务器漏洞获取模型参数，可能造成严重后果。随着人工智能的普及，很多开发者将训练好的模型共享给更多用户，如果攻击者对开源的模型进行攻击，向其中注入恶意代码或参数，生成“变异”的神经网络