人工智能的应用安全问题.pdfVIP

政策与焦点

人工智能的应用安全问题

人工智能发展与应用如火如荼，高校应如何看

待当前人工智能应用安全所面临的挑战？如何处理

好人工智能发展与安全的问题？在2024中国高校

CIO论坛上，华南理工大学网络安全和信息化领导小

组办公室主任陆以勤、天津大学信息与网络中心主

任于瑞国、电子科技大学信息中心主任任立勇、南

昌大学信息化办公室主任周辉林、哈尔滨工业大学

网络安全和信息化办公室常务副主任于游围绕“人

工智能的应用安全问题”话题展开研讨。

陆以勤：从物理世界中寻求人工智能安全的解决之道

我们讨论人工源于它的简单、开放。而简单、开放，恰却可以影响人的身体或者仪器设备。在现

智能安全问题，首恰与安全是相悖的。当TCP/IP成为互联实生活中，人们可以利用防护服、过滤器、

先要明确人工智能网的基石，我们才发现，在互联网的发展传感器等方法感知和防御紫外线。同理，

安全的属性。从目中，安全问题被长期忽视。在处理对抗样本攻击时，可以给模型穿“防

前看来，业界将人与此相似，人工智能安全也是人工智护服”，增强模型的鲁棒性；可以像过滤

陆以勤工智能安全列入网能发展的固有问题。人工智能的本质，是紫外线一样，对数据进行过滤清洗；也可

华南理工大学网络安全和络安全范围，属于在人造的虚拟空间或者网络空间中再创造以使用“传感器”，进行对抗样本检测和

信息化领导小组办公室主任

网络安全工作的新一个“人”，把人类思维和逻辑投射到这防御。

内容。因此，分析个虚拟空间中。由于人类社会本身存在很目前，人们对人工智能的伦理问题非

人工智能安全，可以从我们熟悉的网络多安全问题，我们在数字空间中打造的“人”，常关注，这个问题同样可以从现实生活中

安全的体系架构和思维逻辑入手，找到也必然存在安全问题。在创造这个虚拟“人”寻求灵感。第一，在社会发展中，我们坚

我们处理人工智能安全问题的基本原则的过程中，由于使用了深度学习、大模型等持发展与安全并重，网络安全就讲究“谁

和方法论。复杂和规模化的技术，我们不一定清楚其底主管谁负责,谁运行谁负责,谁使用谁负

例如，我们先考虑一个基本的问题：层的运行机制和技术细节，如同面临一个“黑责”，人工智能也应该采用相应的措施，

网络安全问题是如何产生的？可以说，网箱”，不知道里面是否存在漏洞，传统的安明确其安全责任。第二，大模型的训练类

络安全是网络空间固有的问题。网络空间全检测也将面临挑战。似于人类的学习过程，在教育领域，我们

的本质是人造的虚拟空间。尽管网络空间既然人工智能安全是人类创造人工智需要对学生的教材进行审核，同样，在训

与物理空间并存，但它并非虚无缥缈，而能过程中的固有问题，那么在处理人工智练模型时，对于“喂”给大模型的数据，

是物理空间的映射和投影。因此，物理空能安全问题时，我们也可以参照物理空间也应该制定监测和审核机制。第三，现实

间存在的安全问题，也会投射到网络空间。中的处理方式寻找灵感。例如，人的眼睛中，网络安全的应急响应机制讲究事前防

另一方面，人们在打造网络空间的过程中，对于对抗样本感知不灵敏，但对抗样本可范、事中干预、事后优化加固修复等事件

也会带来安全问题。从互联网诞生的历史以影响模型的判别，这点类似人的眼睛无全生命周期的闭环处理，同理，处理人工

看，TCP/IP之所以能战胜其他各种协议，法感知如紫外线等不可见