人工智能安全-9-机器学习系统的攻击者.ppt

**人工智能安全

--机器学习系统的攻击者提纲从垃圾邮件检测谈起机器学习系统的漏洞攻击者及其目的知识及攻击者能力攻击者的代价与收益攻击行为与分类假设攻击者的目的是发送一封涉及商品广告的邮件，并顺利把邮件送达接收者的收件箱。为了避免垃圾邮件检测系统把广告邮件识别为垃圾邮件，攻击者首先需要探测检测系统区分垃圾邮件和正常邮件的方法。在未能实际接触检测系统的情况下，攻击者只有通过不断地发送邮件尝试，从而分析垃圾邮件的检测依据。然后，在广告邮件中嵌入这些特征，比如修改邮件中的垃圾特征词，或增加一些非垃圾邮件的特征词，这样攻击者就可能绕过检测系统。然而添加这些特征词数量过多的话，可能导致原始邮件的可读性降低，从而导致接收者无法准确理解邮件含义。此外，还可以通过类似投毒的方式来改变分类器。对分类器的攻击要获得成功，与如下因素有关。（1）分类系统的漏洞，如训练数据的更新机制、邮件系统对请求的过滤、分类器模型等存在一些不完善的地方；（2）攻击者的目的，即把垃圾邮件看起来变成正常邮件，或是把正常邮件变为垃圾邮件，或是扰乱分类器；（3）攻击者所拥有的知识，即攻击者对垃圾邮件检测系统了解程度，包括特征词汇、分类器类型、决策阈值等；（4）攻击者的能力，攻击者修改邮件的可行性，以及修改程度的限制等；（5）攻击者所需要付出的代价，攻击者在探测邮件系统、修改邮件内容等过程都存在一定的风险和代价。提纲从垃圾邮件检测谈起机器学习系统的漏洞攻击者及其目的知识及攻击者能力攻击者的代价与收益攻击行为与分类机器学习系统之所以会被成功攻击，是因为本身存在可以被攻击者利用的漏洞。正如其他软件系统一样，由于系统的复杂性，漏洞是不可避免的。为此，很有必要认清机器学习系统的漏洞。收集训练数据的开放性应用界面的开放性用户行为的可修改性分类设计中的常识性知识跨领域、跨应用的相似性隐私的漏洞提纲从垃圾邮件检测谈起机器学习系统的漏洞攻击者及其目的知识及攻击者能力攻击者的代价与收益攻击行为与分类以垃圾邮件检测为例，机器学习系统的攻击者可以分为以下四类垃圾邮件发送者，他们的根本目的是逃脱系统的识别检测垃圾邮件发送者，他们的根本目的是逃脱系统的识别检测系统破坏者，这类攻击者的目的是攻击检测系统，使之变得不可用隐私窃取者，这类攻击者的目标是获得系统中相关用户的个人隐私信息根据攻击者的攻击目标，可以将对抗攻击分为三类，即定向攻击（Targetedattack）、非定向攻击（Non-targetedattack），以及隐私窃取攻击。提纲从垃圾邮件检测谈起机器学习系统的漏洞攻击者及其目的知识及攻击者能力攻击者的代价与收益攻击行为与分类对于机器学习系统的攻击者而言，他们的攻击行为能达到什么程度的破坏性，取决于两方面的主要因素。一是，攻击者所掌握的知识，对系统的了解程度和介入程度，包括分类器的类型、数据的特征空间等。二是，攻击者的能力，攻击者利用知识进行攻击的能力，进行系统攻击的各种工具以及攻击者对IT知识的熟练程度等都是这方面的体现。知识1.内部知识主要的内部知识有以下四种。（1）原始数据，即还没有经过处理的训练数据集；对于监督学习而言，包含标签信息。（2）样本特征，即经过特征处理完之后，最终用于分类器训练的属性集合。（3）特征选择算法，即从原始数据到数据特征之间的映射方法，通常包括信息增益、卡方统计等特征选择算法。（4）特征提取方法，包括SVD分解、各种用于特征抽取的深度学习模型等。（5）机器学习模型，可以是有监督的分类器，也可以是无监督的聚类算法等，模型的参数、结构也都属于这种知识。2.外部知识实际常用的机器学习模型可以归结为有限的几类。既可以按照大类来分，也可以按照小类来分。例如大类方面包括监督学习、无监督学习、强化学习、深度学习等；小类方面，监督学习包括SVM、KNN、决策树、XGBoost等。相同类型的机器学习模型在参数、损失函数、结构等方面也会存在一定的相似性，这种相似性可能被攻击者用来推断目标系统的具体细节。攻击者能力攻击能力是通过一定方法实现对机器学习系统知识利用的能力，往往需要改变自身的行为特征、数据操控方式等，以使得攻击样本符合目标系统的要求。根据内部知识的不同，从弱到强，攻击者能力主要有：访问机器学习应用系统的能力训练数据的获取能力操控训练数据的能力获取样本特征空间的能力获取机器学习模型的能力提纲从垃圾邮件检测谈起机器学习系统的漏洞攻击者及其目的知识及攻击者能力攻击者的代价与收益攻击行为与分类网络空间安全中，不同攻击有不同的代价与收益。对于机器学习模型攻击而言，可以从以下三方面来分析攻击者的代价。攻击行为被发现而产