《人工智能安全导论》 课件全套 第1--7章 人工智能安全概述--人工智能在联邦学习领域.pptx

人工智能安全概述《人工智能安全导论》北京工业大学

本章知识点什么是人工智能安全人工智能的数据安全、模型安全、运行环境安全人工智能的设计、训练、执行阶段安全人工智能的硬件、操作系统、框架安全人工智能的安全要素未来人工智能安全发展前景

1.1什么是人工智能安全从组成要素的角度来看，人工智能安全问题可以按照数据、模型和运行环境进行划分。从生命周期的角度来看，人工智能安全问题可以分为设计、训练和执行阶段。从系统架构的角度来看，人工智能安全问题涵盖了硬件、操作系统、框架和算法等多个方面。

1.1什么是人工智能安全一个典型案例是2019年的“人脸识别数据泄露”事件。在这起事件中，一家人工智能公司的人脸识别数据库遭到黑客攻击，导致数百万用户的个人信息和面部数据泄露。这种数据泄露对个人隐私和安全构成了重大威胁，因为人脸数据可以被用于身份盗窃、虚假认证和其他恶意活动。图1-1人脸识别数据泄露

1.1什么是人工智能安全人工智能安全是指确保人工智能系统在设计、开发、部署和运行过程中免受潜在威胁和攻击的能力。它涵盖了数据、模型和运行环境等多个组成要素，要求我们在整个生命周期中考虑技术、法律和伦理等方面的因素。人工智能安全的目标包括保护用户隐私、防止数据泄露、抵御恶意攻击和确保系统的可靠性和鲁棒性。

1.2人工智能安全问题——按组成要素分类在人工智能系统的构建与应用中，数据、模型及其运行环境是核心要素。数据作为人工智能的基石，直接影响着模型的构建和性能。而模型则负责执行任务和做出决策，因此模型的精准性和可靠性对人工智能系统的有效运行和安全性至关重要。同时，模型的运行环境也是一个需要考虑的因素，环境的不稳定性可能对系统的安全性构成威胁，特别是在网络安全、软件安全以及依赖库安全方面。图1-3数据、模型及运行环境的三者关系

1.2.1人工智能的数据安全威胁1.数据泄露常见的三种数据泄露方式 查询敏感信息的泄露：在人工智能系统特别是交互式人工智能系统中，用户在询问与医疗状况、财务状况或个人关系相关的问题时，往往会泄露私人细节。上下文信息的泄漏：即使是看似合理没有威胁的查询，在与其他上下文因素结合时，也可能间接泄露用户的敏感信息。模型参数的泄露：在人工智能系统的训练和部署过程中，模型参数可能会泄露给未经授权的实体。为避免隐私泄露，通常可以采取以下策略：数据清洗：通过纠正错误和不一致来提高数据质量，是一个数据预处理基础步骤，同时也是隐私保护的关键步骤，通过实现匿名化、数据最小化来保护敏感信息。数据加密：通过将数据转换为加密形式，以防止未经授权的访问或泄露。数据隔离：将不同级别或类型的数据分开存储和处理的方法，以防止数据泄露或不当访问。

1.2.1人工智能的数据安全威胁2.数据中毒数据中毒攻击的常见方式:模型偏斜攻击：模型偏斜攻击是一种对抗性攻击形式，其目的是扰乱训练数据样本，以改变分类器的分类边界。反馈误导攻击：与模型偏斜专注于引入训练数据偏差不同的是，反馈误导攻击瞄准了模型的学习模式本身。应对策略:数据清洗作为数据预处理的关键步骤，旨在通过识别和纠正数据中的错误和不一致来提高数据质量。鲁棒性训练是在训练模型时，需要考虑模型可能在实际应用中遇到的各种情况，并进行相应调整。 图1-5数据中毒示意图

1.2.2人工智能的模型安全威胁1.对抗样本攻击威胁通过在输入数据中引入精心设计的微小扰动，从而误导人工智能模型做出不正确的输出或决策。对抗性训练是一种有效的策略，通过在训练数据中引入对抗性样本或者在训练过程中针对模型进行对抗性优化，以增强模型对对抗性攻击的鲁棒性。输入检测和过滤是防御对抗性攻击的重要手段，包括检测输入数据中的异常或对抗性样本，并在模型推理阶段对输入进行过滤，从而减少对抗性攻击的影响。鲁棒性模型设计也是一种重要的防御策略，通过设计更加鲁棒的模型架构，例如使用深度集成学习或对抗性训练技术，来提高模型对对抗性攻击的抵抗能力。图1-6对抗样本攻击原理

1.2.2人工智能的模型安全威胁2.模型窃取模型窃取攻击是指攻击者以黑盒模型为目标，通过多次查询获取目标模型的全部或者部分信息，进而构建一个与目标模型功能相近的替代模型以用于构造对抗样本攻击目标模型的非法行为。为防止模型被非法窃取，可以采取下列的策略和技术手段来保障其安全：模型加密：通过对模型进行加密，只有经过授权的用户才能够解密和访问模型，从而防止未经授权的访问者直接获取模型的细节。模型混淆：通过对模型进行混淆，使得模型的结构和参数变得更加难以理解和分析，从而增加攻击者分析模型的难度，减少模型被逆向工程的风险。模型水印技术：通过向模型中嵌入独特的标识符或水印，可以在模型被盗用或复制时追踪模型的来源，加强对模型的控制和保护。

1.2.2人工智能的模型安全威胁3.后门攻击后门攻击是