信息技术与人工智能基础8 人工智能的安全与伦理.pptxVIP

项目8

人工智能的安

全与伦理

目录

任务任务任务

8.18.28.3

了解人工智能安全人工智能伦理探究人类与人工智能和平共

处

人工智能正在成为以新一轮科技革命为基础的国

家竞争制高点。欧盟持续10年的“人脑计划”(human

brainproject,HBP)、日本的“人工智能/大数据/物

联网/网络安全综合项目”(AIP项目),以及美国的“国

家人工智能研究与发展战略计划”,都将人工智能全面

提升到了国家战略层面。与此同时,“黑客”攻击电网

导致大范围停电,政府内网被植入“后门”,机密情报

被窃取,重要网站被劫持,个人信息集中泄露,家中摄像

头被远程操控肆意窥探……这些曾经只出现在科幻小

说里的安全问题,如今却在全球不时上演。

人工智能的发展速度远远超越了人类自身的进化

速度,这也引起了诸多学者的警惕。著名英国物理学家

史蒂芬·威廉·霍金(StephenWilianHawking)在全

球移动互联网大会上做视频演讲时指出,人工智能可能

是人类文明的终结者。“人工智能崛起要么是人类最

好的事,要么就是最糟糕的事。人类需警惕人工智能发

展的威胁,因为人工智能一旦脱离束缚,以不断加速的

状态重新设计自身,人类由于受到漫长的生物进化限制,

将无法与之竞争。”

本项目将带领读者了解人工智能安全、人工智能

伦理探究以及人类与人工智能和平共处。

任务8.1

了解人工智能安全

任务8.1了解人工智能安全

1.人工智能系统的安全威胁

下面从深度学习软件中的安全问题、深度学习模型相关的安全问题和深度学习数据流

处理中的安全风险三个角度讲述人工智能系统的安全威胁。

(1)深度学习软件中的安全问题。人工智能应

用面临来自多个方面的威胁:深度学习框架中的软

件实现漏洞、对抗机器学习的恶意样本生成、训

练数据的污染等。这些威胁可能导致人工智能所

驱动的识别系统出现混乱,形成漏判或误判,甚至

导致系统崩溃或被劫持,使智能设备变成攻击工具。

任务8.1了解人工智能安全

在推进人工智能应用的同时,我们必须关注并解决这些安全问题。

①人工智能讨论中的安全盲点。目前公众对人工智能的关注,尤其是深度学习方面,缺

少对安全的考虑,存在着安全盲点,导致这个盲点的主要原因是算法与实现的差距。近期对

于深度学习的讨论主要停留在算法和前景展望的层面,对应用场景和程序输入有很多假设。

受到关注的应用往往假定处于善意的或封闭的场景。例如,高准确率的语音识别中的输入

都是自然采集而成的,图片识别中的输入也都来自正常拍摄的照片。这些场景均没有考虑

人为恶意构造或合成的场景。

任务8.1了解人工智能安全

②深度学习系统的实现及依赖复杂度。深度学习软件很多是在深度学习框架上实现的。

目前,深度学习框架非常多,主流的包括TensorFlow、Torch及Caffe等。

u深度学习框架的使用可以让应用开发人员无须关心神经元网络分层以及培训分类的实

现细节,而更多关注应用本身的业务逻辑。

u深度学习框架掩盖了它所使用的组件依赖,同时隐藏了系统的复杂程度。

u系统越复杂,就越有可能包含安全隐患。

任务8.1了解人工智能安全

③深度学习软件实现细节中的安全问

题。正如安全人员常说的,魔鬼隐藏于细节

之中,任何一个大型软件系统都会有漏洞。

考虑到深度学习框架的复杂性,深度学习应

用也不例外。360研究团队在一个月的时间

内曾发现了数十个深度学习框架及其依赖

库中的软件漏洞。发现的漏洞包括了几乎

所有常见的类型,如内存访问越界、空指针

引用、整数溢出等。这些漏洞可能导致对

深度学习应用的拒绝服务攻击、控制流劫

持、分类逃逸,以及潜在的数据污染攻击。

任务8.1了解人工智能安全

(2)深度学习模型相关的安全问