人工智能的安全风险与防范.pdfVIP

人工智能安全专题

.IssueonArtificialIntelligenceSecurity

人工智能的安全风险与防范

郑方

SecurityRisksandCountermeasurestoArtificialIntelligence

ZhengFang

人工智能(artificialintelligence，AI)是研究、让其识别结果偏离实际。

开发用于模拟、延伸和扩展人的智能的理论、方4）技术滥用.人工智能技术的滥用不仅会对

法、技术及应用系统的一门新的技术科学,其对人人类社会带来现实意义上的危害，也会带来更严

类进步的贡献是有目共、毋庸置疑的.重的伦理问题，而降低使用门槛的生成式人工智

然而，任何事物都有两面性，有好的一面就有能(AIGC)所产生的伪造音、视、文,加重了前述的

坏的一面，这两面既相互排斥又相互依存，这就是危害和问题.

矛盾的对立统一,本专题讨论人工智能的安全风险5）技术依赖.人工智能技术还在路上，远没有

问题，以便为防范安全风险做好准备。达到完全安全可信的程度，但是人类对人工智能

人工智能的安全风险类型有很多，从其源头技术的依赖程度若是不断加深，会在很多方面产

看大致有如下几个方面：生发散式的影响和危害.例如，人们对大模型输出

1）训练数据.人工智能很多算法和模型依赖结果的过度依赖可能导致知识学习、文化教育、意

于训练数据，训练数据往往又含有重要的信息，包识形态等方面出现混乱。

括隐私信息.因而会有如下4类问题：①训练数据人工智能因其发展迅速，关注度高，已渗透到

被搜集者或管理者非法泄露，形成黑产灰产；②训各个研究领域和各个应用场景，很难用几篇文章

练数据被他人非法窃取，形成黑产灰产；③训练数覆盖其安全风险的全部方面.本期专题文章针对上

据或数据中所含信息，被他人利用基于该数据所述风险类型从以下若干方面展开论述：

训练出来的模型或系统的漏洞（如利用Chat-GPT1）同济大学严驰的“生成式人工智能时代人

漏洞)诱导后流出，或通过模型反演获得；④主观工智能法的立法思考”从立法角度出发，提出人工

意图下的训练数据选取带来的偏见问题以及使用智能法应明确分类分级监管，通过构建更科学合

者的误判，如大模型引起的意识形态误导。理的顶层设计方案，推动科技向善.

2）算法黑箱.人工智能往往包括“感知-理解/2）国家工业信息安全发展研究中心刘永东团

推理-决策(动作)这样的过程.由于算法黑箱的不队的“人工智能算力基础设施安全体系架构研

可解释性，算法在处理超越其描述边界的开集问究”，为应对人工智能算力基础设施在建设和运营

题时往往会输出不可预知的结果，从而产生有危过程中面临的严峻的安全挑战，从强化自身安全、

害的决策（或动作），如黑盒的深度学习引发的决保障运行安全、助力安全合规3方面提出了人工

策错误。智能算力基础设施安全体系架构，提出发展建议，

3）算法漏洞.人工智能算法本身存在漏洞，这为人工智能产业健康、持续发展提供决策参考.

些漏洞成为系统被攻击的突破口，对系统产生危3）中国人民公安大学李欣、曹艺萱的“我国算

害.例如，对抗样本可以轻易地骗过深度神经网络，法风险及其治理研究综述”针对算法风险，从法律

网址1101

信息安全研究第10卷第2期2024年2月

lournalotlnformationSecurityResearchVol.10No.2Feb.2024

司法、政治治理、信息传播、商业经济4大领域部设计了一种隐私数据的结构知识增强机制，赋予