机器学习的巨大风险一旦数据被污染AI可能完全失控.PDF

机器学习的巨大风险 ：一旦数据被污染 ，AI 可能完全 失控 人工智能2019-02-20 AI 会受到数据污染说明机器学习的哲学假设存在问题。 编者按 ：数据成全了人工智能革命。但现在安全专家发现了破解 AI 的新手段 ，一旦 这些手段被坏人利用 ，后果可能会很严重。 《连线》英国版聚焦了用数据污染 AI 可 能造成的影响——比如说 ，给数据中植入人类觉察不到的微弱噪声 ，神经网络就会把 乌龟看成了来福枪 ，无人车就会无视停止标志 ，而智能音箱就会执行人类听不见的隐 藏命令。 神经网络把乌龟的照片看成了来福枪。无人车呼啸而过 ，对停止标志视而不见 ，因为 一个精心设计的贴纸迷惑了它的计算机视觉。一个眼镜框让脸部识别技术以为那个普 通男子是演员米拉·乔沃维奇。对人工智能的破解是新兴的安全危机。 先发制人的不法分子试图靠篡改数据集或者物理环境来绑架人工智能 ，研究人员被迫 求助于对抗性机器学习。这时候修改数据就能欺骗神经网络愚弄系统 ，让对方误以为 自己看到了什么 ，或者忽视本来有的东西 ，或者完全把对象的分类搞错了。 比如像 Google 和纽约大学研究人员那样 ，给一张校车的照片增加一层 （人类 ）看不 见的数据噪音层 ，神经网络就会几乎完全可以确定那是一只鸵鸟。不仅图像有这种情 况 ：研究人员已经尝试过将隐藏的语音命令植入到广播当中 ，从而在我们耳朵听不见 的情况下偷偷地控制智能手机。 尽管此类工作现在被说成是攻击 ，对抗样本起初却几乎被看成是神经网络设计的一个 哲学盲点 ：我们假设机器看东西的方式跟我们是一样的 ，认为它们会按照类似的标准 识别对象。这个想法最早是 2014 年 Google 的研究人员在一篇论文中提出来的 ，文 章的题目叫做 《神经网络的迷人属性》 ，里面描述了如何给图像增加 “干扰”会导致 网络看错东西——也就是所谓的 “对抗样本”。他们发现 ，小小的干扰就能愚弄神经 网络误读那辆校车或者将其错误分类。这引发了对神经网络 “固有盲点”以及在学习 方式上 “非直观特征”的担忧。换句话说 ，我们其实并不了解神经网络的内部机制。 加州大学伯克利分校的计算机科学教授 Dawn Song 说 ：“对抗样本只是说明了我们 对深度学习的工作方式和局限性的了解仍然十分有限”。Song 是开发迷惑无人车的 停止标志贴纸 （4 所大学联合研发 ）的研究人员之一。 停止标志研究者之一 ，华盛顿大学计算机安全研究人员 Earlence Fernandes 说 ：“有 整整一批的攻击依赖于攻击者处在机器学习模型生成管道的哪个阶段。”比方说 ，一 个训练 时间攻击发生在机器学 习的建模 阶段 ，可 以用恶意数据来训练系统 。 Fernandes 说 ：“攻击者可以用数据污染脸部检测算法 ，令其将攻击者的脸识别成获 授权的人的脸。”。 另一方面 ，推理时间攻击则是利用一系列算法将精心设计的输入展示给模型看—— Fast Gradient Sign Method （快速梯度迭代法 ）或者 Carlini 与 Wagner 攻击就是 对图像进行微小改变从而迷惑神经网络的流行方法。 从无人车 ，到分析性 CCTV 系统 ，再到通过脸部识别进行身份验证 ，随着 AI 逐渐渗 透到我们生活的方方面面 ，对此类系统的进行攻击的可能性正在增加 ，危险也在加大。 黑客篡改路边的设施会导致汽车碰撞事故发生。对数据机器学习系统的微妙改变也会 导致 AI 系统的决策被植入偏见。 不过我们不应该感到担心。暂时还不需要。MIT 的研究人员 Anish Athalye 说 ：“迄 今为止此类攻击尚未在现实世界中被恶意方实施过。不过鉴于本领域的已有研究 ，似 乎很多机器学习系统都非常脆弱 ，如果现实世界的系统容易受此类系统影响的话我是 不会感到吃惊的。” Athalye 的研究目的是想让对抗攻击更健壮一点。一些被归类为 “标准”的攻击也只 是在特定视角才有效 ，但有的攻击则无论神经网络从哪个角度看对象或图像都有效。 他说 ：“标准对抗样本是对图像中的像素进行少量修改 ，从而让分类朝着特定目标类 别转变——比方说 ，让一只猫的图像被分类成鳄梨酱。不断重复这个过程 ，做出细微 的改变 ，就有可能让机器把人眼里的东西看成是另一种东西。”研究表明 ，标准的对 抗攻击是 “脆弱的” ，不大可能在现实世界里行得通。 于是 Athalye 和他在 MIT 与 LabSix 的同事开始设计更好的样本 ，对攻击图像进行优 化 ，让它无论能从哪个角度或者距离看都能见效。他说 ：“我们还扩展到了 3D 对象 ， 比方说 ，一个看起来像乌龟的东西会被机器认成是完全另一样东西。”