4、大模型应用场景的漏洞剖析-刘洋.pdfVIP

关于我

Aboutme刘洋

➢云起无垠模型安全研究负责人。

➢知攻善防实验室核心成员。

➢主要研究方向:src挖掘/红蓝对抗/CTF/AI应用安全。

个人背景与研究方向CTF竞赛成就与荣誉国家重点安全项目经验0day漏洞挖掘与漏洞报

送

专注于红蓝对抗与AI应用安CTF竞赛领域，曾荣获“长城多次参与国家重点能源单位在漏洞挖掘方面，曾挖掘多个

全，主要研究方向包括src挖杯总决赛二等奖”、CISCN信的护网行动，并因此获得了0day漏洞，包括某达oa注入、某

上网行为审计网关rce、某知名

掘、红蓝对抗、CTF竞赛以息安全竞赛三等奖以及“强中国科技部等多个政府机构

cms命令执行等，并因此获得了

及AI应用安全。网先锋”等。的感谢信。

多张教育漏洞报送证书及多张

CNVD证书。

AI赋能，安全护航

——大模型应用场景的漏洞剖析

人工智能市场发展

中国人工智能行业市场规模不断扩大，AI技术对各行各业的渗透率在不断提升，应用场景广泛。

数据显示，2024年中国人工智能行业市场规模达7470亿元，同比增长41.0%，预计2025年达10457亿

元，占全球比重达20.9%。相较2021年，2023年中国人工智能在互联网（89%）、电信（68%）、政务

（65%）、金融（64%）等领域的渗透率明显提升。

AI应用安全的攻防实践

AI应用漏洞分类

典型常见风险案例—医疗AI机器人漏洞

AzureHealthBotService是一个云平台，医

疗保健组织构建和部署了AI驱动的虚拟助手。

在检查该服务的安全问题时，研究人员研究了“数

据连接这一功能上，机器人能够从外部数据源获

取信息，这可能包括患者医疗信息等敏感数据。

这个数据连接功能是为了使得服务的后端系

统能够向第三方应用程序API接口发送请求。在测

试这些连接以查看它们是否可以与服务内部的端

点交互时，研究人员发现，发出重定向响应使他

们能够绕过这些端点上的一些安全措施，例如过

滤机制等。

典型常见风险案例—医疗AI机器人漏洞

CursorRCE漏洞剖析

➢攻击者在可控网页中嵌入包含Base64

编码恶意指令的注入文本

(ZW