2021年人工智能安全风险及治理研究报告.docx

ciC工信安全

人工智能安全风险及治理研究

国家工信安全中心信息政策所叶晓亮2021年9月

目录

人工智能安全相关概念及风险分析

02人工智能典型应用场景安全风险分析

03国内外人工智能安全治理关注重点

04我国人工智能安全发展对策建议

2E工信安全

2

人工智能安全相关概念及风险分析

3

3ciC工信安全

(一)人工智能安全相关概念

人工智能是推动新一轮科技革命和

人工智能是推动新一轮科技革命和产业变革的重要技术，但人工智能决策能力给人们带来无限惊喜的同时也引发了人们对人工智能风险与安全性的思考

人工智能定义及发展人工智能风险的界定人工智能安全的内涵

对于人工智能的定义，目前业界仍未形成统一意见

人工智能经过基础理论及算法研究阶段、专家系统中的初步应用阶段，迎来了第三个高潮期，我国将其当前发展阶段定义为“新一代人工智能”时期，在该时期人工智能正在给人类经济、社会与生活带来颠覆性影响

针对人工智能的安全性评估，业界往往围绕安全性、消费者基本权利等方面进行分析。本报告将人工智能风险分为三个层次：

技术本身脆弱性导致的风险

人工智能被攻击者利用产生的风险人工智能随着在各领域广泛应用所

产生的风险

“人工智能安全”在不同场景下通常代表两种不同含义。在网络安全领域，人工智能安全指的是基于人工智能的网络安全防御技术及方法。在风险分析及应对方面，人工智能安全更多用来描述人工智能技术存在或引发的安全风险及应对能力。

本文将聚焦于后一种含义的诠释

4CiC工信安全

4

(二)人工智能安全风险分析

1.框架及算法等技术要素风险导致人工智能本身的脆弱性

人工智能学习框架易被攻击

每种深度学习框架依赖图像处理、矩阵计算、数据处理、GPU加速等众多基础库和组件，各个基础库和组件潜藏的安全隐患都会威胁学习框架本身以及上层应用的安全性

算法设计局限性仍难以避免

特征描述的局限、目标函数的偏差、计算成本的制约都是可能导致决策偏离预期甚至出现错误结果的原因

模型保密性和稳健性易受威胁

恶意攻击者可利用样本迭代对目标模型进行查询，根据其返回结果构建出相似模型，进而还原模型内部信息，或基于这个相似模型，构造对抗样本，使之做出错误决策

数据“投毒”易导致结果异常

攻击者通过修改样本、删除部分样本或加入精心设计的恶意样本等恶意操作，导致训练出的模型可用性和完整性遭到破坏

数据不均衡易引发数据“偏见”

人工智能决策结果的准确性、客观性很大程度依赖于数据本身。数据本身的分布偏差、技术人员本身对事物的认知的“主观性”,易导致人工智能决策结果往往出现偏见、歧视

5CIC工信安全

(二)人工智能安全风险分析

2.技术两面性导致信息造假等被恶意利用的风险

人工智能技术降低了信息造假的门槛

深度伪造是指利用对抗网络实现对图像、音频及视频的生成或修改形成“虚假信息”。这不仅是对公民肖像权等个人权益的侵犯，若将其用于敲诈勒索、伪造罪证等恶意活动，还会严重危害人际关系、影响社会稳定。基

于深度伪造的虚假新闻还可能对社会舆论生态造成恶劣影响，甚至威胁国家安全

人工智能技术被用于升级网络攻击手段

在传统网络攻击中，攻击规模和攻击效率难以兼顾，而人工智能技术的应用能够实现大规模的自动化网络攻击。

一方面人工智能能够实现恶意软件编写和分发的自动化，大大提升渗透效率。另一方面基于被感染设备构建智

能僵尸网络，利用人工智能技术可实现智能分析和主动攻击

……

6ciC工信安全

(二)人工智能安全风险分析

3.不成熟技术广泛应用导致数据泄露及伦理道德等问题

技术的智能化发展将带来伦理问题及结构性失业等社会风险

技术的智能化发展将带来伦理问题及结构性失业等社会风险

由于训练数据或算法的局限性经常会导致系统输出带有偏见或错误的决策结果，例如，亚马逊人脸识别系统将黑皮肤女性错误识别为男性。由此可见，智能系统输出

不准确的结果轻则影响社会公平正义