人工智能安全：原理与实践 习题及答案 李剑 - 第8--16章.pdf

第8章梯度下降算法的安全应用

1、梯度下降算法的作用是什么？

参考答案：梯度下降（GradientDescent）算法是机器学习中最常用的优化

方法之一。它的作用是通过迭代寻找函数的最大值或最小值。

2、什么是模型逆向攻击？

参考答案：模型逆向是一种针对机器学习模型的隐私攻击，目的是从模型的

输出推断回其输入数据，或者从模型中提取关于输入数据的信息。

3、常见的模型逆向攻击方法有哪些？

参考答案：常见的模型逆向攻击分类如下：

(1)特征推导攻击（FeatureInferenceAttacks）：这种类型的逆向攻击旨

在推断出训练数据中的敏感特征或属性。例如，通过分析医疗模型的输出来推

断病人的某些隐私医疗状况。这类攻击通常基于模型的输出和部分已知输入信

息，尝试揭露其他未知的输入特征。

(2)数据重建攻击（DataReconstructionAttacks）：这种攻击涉及重建模

型输入的完整图像或其他数据形式。在图像处理领域，例如，通过观察面部识

别系统的行为来重建人脸图像，这种攻击可能会严重威胁个人隐私。

第9章深度伪造原理与安全应用

1.什么是深度伪造？

参考答案：深度伪造（Deepfake）是一种利用人工智能技术伪造或篡改音图

像、音频、视频等内容的技术。

2.深度伪造有哪些危害？

参考答案：深度伪造技术的危害主要包括以下几个方面：

(1)侵犯个人隐私：深度伪造技术可以轻易获取他人的面部特征、声音等信

息，并用于制作虚假视频或音频，这些虚假内容一旦传播开来，将对被侵权者的

名誉和隐私造成严重损害。

(2)误导公众舆论：深度伪造技术可以制作出逼真的虚假新闻、政治宣传等视

频或音频，误导公众舆论，可能导致社会动荡、政治危机等严重后果。

(3)破坏经济秩序：深度伪造技术被用于制造虚假广告、金融欺诈等违法犯罪

活动，破坏经济秩序，给消费者带来经济损失，并损害企业的声誉和市场竞争力

。

(4)威胁国家安全和公共安全：深度伪造技术可能被不法分子利用进行诈骗、

侵犯隐私等行为，甚至被境外间谍情报机关用于开展“认知战”，威胁国家安全

和公共安全。

(5)引发社会忧虑和信任危机：深度伪造技术制造的大量假新闻和虚假信息，

会让公众对事实产生怀疑，引发社会忧虑和信任危机。

3.详细说明根据人脸篡改区域和篡改目的，可将深度人脸伪造技术分为哪些类？

参考答案：随着对生成对抗网络GANs研究的不断深入，现有的深度人脸伪

造技术得到进一步发展和提升。根据对人脸篡改区域和篡改目的，可将深度人脸

伪造技术分为身份替换、面部重演、属性编辑、人脸生成等。

第10章成员推理攻击原理与实践

1.什么是成员推理攻击？

参考答案：成员推理攻击（MembershipInferenceAttack）是一种针对机器

学习模型的隐私攻击，目的在于判断特定的数据样本是否被用于模型的训练过程

中。成员推理攻击揭示了机器学习模型可能泄露关于其训练数据的敏感信息，尤

其是在模型对训练数据过度拟合的情况下。通过成员推理攻击，攻击者可以推断

出某个特定的输入是否是模型训练数据的一部分。这在涉及敏感数据的场合尤其

危险，比如医疗或金融数据，因为它可能导致隐私泄露。

2.什么是影子模型攻击？

参考答案：影子模型攻击是一种针对机器学习模型的成员推断攻击

（MembershipInferenceAttack）。其核心思想是利用一个或多个与目标模型训

练方式相似的影子模型来推断某个数据样本是否被用于目标模型的训练集中。

3.常见的成员推理攻击方法有哪些？

参考答案：常见的成员推理攻击方法包括影子模型攻击（ShadowModel

Attack）、基于模型置信度的攻击和基于差分隐私的攻击模型。

(1)影子模型攻击

攻击者首先训练一个或多个“影子模型”来模仿目标模型的行为。这些影子

模型使用与目标模型相同的机器学习算法，但是训练数据不同。通过观察影子模

型对其训练数据和未见过的数据的预测行为，攻击者可以训练一个二分类器来区

分目标模型的训练数据和非训练数据。

(2)基于模型置信度的攻击

这类攻击方法利用模型对其预测的置信度，也就是输出概率的某些统计特性

（如最大概率值）。攻击者假设模型对于训练数据的预测通常比对于未见过的数

据更加自信。

(3)基于差分隐私的攻击模型

该模型利用差分隐私机制中的噪声添加策略来进行成员推理攻击。通过分析

带有差分隐