山东大学郭山清教授团队在人工智能安全领域研究中取得新进展.pdfVIP

网域动态2024年第4期

山东大学郭山清教授团队在人工智能安全领域研究中取得新进展

近日，山东大学网络空间安全学院郭山清教授团队在人工智能安全的研究中取得重要成果，两篇论文分别被网络

与信息安全领域四大学术会议之一的IEEESP2024和人工智能领域学术会议AAAI2024录用，山东大学是这两篇论文

的第一作者单位和通讯作者单位。

研究成果“AVA:InconspicuousAttributeVariation-basedAdversarialAttackbypassingDeepFakeDetection”的论文第一作

者是山东大学网络空间安全学院博士研究生孟祥涛，通讯作者为学院郭山清教授，香港城市大学助理教授赵晴川为主

要合作者。深度伪造（DeepFake）技术的滥用对个人以及社会构成了严重的隐私安全威胁，因此学术界和工业界提出

了各种伪造检测算法来缓解其滥用。然而，当前的伪造检测算法容易受到恶意输入的欺骗，从而被攻击者轻松绕过检

测。郭山清教授团队首次从语义扰动的角度提出了针对伪造检测算法的对抗攻击新方法（AVA），构建不同威胁模型以

及制定不同属性组合策略，对学术界和工业界的伪造检测算法的鲁棒性开展全面评估，揭示其潜在的安全风险。实验

结果表明，该方法在多个互联网厂商部署的伪造检测API上攻击成功率均在95%以上（已得到厂商的官方确认与致谢），

对嵌入上述API的下游应用构成了巨大的安全威胁。该研究成果近日被网络和系统安全领域四大学术会议之一的IEEE

SP2024录用，填补了现有研究中对伪造检测模型安全风险探讨的不足，为高鲁棒伪造检测算法的设计提供了研究新

思路。

研究成果“GaLileo:GeneralLinearRelaxationFrameworkforTighteningRobustnessCertificationofTransformers”的论文第一

作者是山东大学网络空间安全学院博士研究生张云若，通讯作者为学院郭山清教授。Transformer模型是现今人工智能领

域应用最广泛的模型之一，在自然语言处理和计算机视觉等任务上都取得了最先进的指标。然而，Transformer模型对输

入中的恶意微扰十分敏感，对其在高安全性领域的应用造成严重威胁。郭山清教授团队首次提出n维空间中非线性函数

的线性放松技术，设计了一种新型Transformer模型的鲁棒性验证方法，通过在常用数据集及多个具有不同大小的模型上

的实验证明了此方法的计算结果优于对比方法，实现了Transformer模型可信鲁棒半径的精确计算与度量，保障了基于

Transformer模型的人工智能应用的可靠性与安全性。该研究成果近日被人工智能领域学术会议之一的AAAI2024录用。

上述系列研究工作得到了国家自然科学基金、山东省重点研发计划等项目的资助。（来源：山东大学，https://www.

/info/1021/188523.htm）

中国开源软件创新发展研讨会于长沙成功举办

2024年2月21日，由CCF长沙、CCF开源发展委员会主办，长沙理工大学计算机与通信工程学院承办的中国开源

软件创新发展研讨会在长沙理工大学金盆岭校区成功举办。该研讨会由CCF长沙秘书长、长沙理工大学计算机与通信

工程学院院长张锦教授主持。

此次研讨会不仅吸引了线下高校领导、教师，还通过线上平台同步进行，吸引了更多远程参与的学者。来自湖南大学、

国防科技大学、湖南科技大学等省内外10多所高校、科研机构与企业的专家学者等共计40余人参加本次研讨会。

研讨会上，国防科技大学王涛博士以“群智范式：软件开发范式变革的思考”为题做学术报告，详细介绍了群智

开源科技创新模式的发展历程，深入浅出地分享了在群智范式方面做的探索与实践。

王涛博士还展示了GitLink确实开源创新平台及平台运营的系列活动，着重向参会嘉宾介绍了CCF开源创新大赛。

作为本次研讨会的重要议题之一，CCF开源创新大赛不仅是一个竞技平台，更是一个推动开源创新和人才培养的重要

机制。（来源：中国计算机学会，/Media_list/ccfosc/2024-03-15/816150.shtml）

650