2024年网络安全行业趋势分析报告：培训课件.pdf

新兴的生成式AI攻击将加剧对独特提示内容的关注。多模态攻击方法和模型代理风险成为

01新兴趋势。同时，AI应用的隐私安全挑战。

合规和数据泄露问题具有重大影响。

生成式AI将革新安全运营。大型语言模型（LLM）作为“安全助手”，提供分析、推理和报告

能力。此外，LLM技术在各种攻击预防场景中得到了广泛应用，包括漏洞挖掘、恶意软件

02分析、内容检测和自动渗透。

风险管理正在演变。它将从广泛的“所有风险”检测转变为针对多样监督方法和日益加剧的攻

03击强度，进行精确、动态的威胁暴露管理。

04HRTI、HRTI平台和HRTI应用的需求将迅速增长。

勒索软件仍然是全球组织最有害的网络安全犯罪形式。双重和多次勒索等威胁持续增长，

05勒索手段变得越来越多样化。

网络战争加速了分布式拒绝服务（DDoS）攻击的武器化，并经常作为高级持续性威胁（A

PT）和勒索软件攻击的前哨。攻击者更倾向于购买专用云服务器，攻击模式开始向基于智

06能策略的攻击模式发展。

云安全保护正将重点转向云基础设施权限管理（CIEM）和云安全态势管理（CSPM），以

身份和管理工作为核心。云原生安全将越来越实用并得到应用，从基础设施安全到云原生

07API安全及微服务安全。

隐私计算和机密计算由于法律和法规的持续制定和改进，正开辟新的发展道路。在此背景

08下，互联互通标准化和克服生态隔离是关键焦点。

智能互联汽车（ICV）在数据安全、功能安全和预期功能安全性方面面临挑战。为了解决

这些问题，建立一个车路云一体化的安全系统是必不可少的，它提供了全面的安全治理能

09力。

随着低空经济的扩展，无人机（UAVs）的广泛应用突显了无人机安全对于进一步发展的

10重要性。

01

新兴的生成式AI攻击将加剧对独特提示内容的关注。

多模态攻击方法和模型代理风险是新兴趋势。同时，

隐私合规和数据泄露为AI应用带来了重大的安全挑战

。

2024年十大网络安全趋势

生成式人工智能（GAI）的蓬勃发展，尤其是以大型语言模型（LLM）为代表的关键技术突破，推动了新一

轮人工智能（AI）产业革命。Gartner首次将“生成式网络安全AI”纳入《创新触发器》中。安全运营2023

年炒作周期人工智能和大型语言模型（LLM）的应用，以ChatGPT为代表，正逐渐渗透到各类组织的核

心场景中。然而，当前的LLM仍不够成熟。同时，随着其能力提升和应用拓展，潜在的安全漏洞和潜在危

险可能会导致更广泛和更严重的后果。

AI导向的攻击与防御一直是学术界的热点话题。针对LLM的攻击技术也在不断进步和复杂化，如模型逆向

工程、数据投毒攻击、模型盗窃等，这些都对LLM的可用性和机密性构成了严重威胁。自从LLM出现以来

，它就面临着许多独特的风险，例如提示词注入、角色扮演、逆向诱导等新型攻击技术。目前，面对攻击

者不断变化的攻击策略，LLM威胁的检测和防御措施不足。到2023年，经典的DAN（DoAnythingNow）

攻击已经出现，这种攻击通过精心设计的提示词诱使LLM执行任何动作，包括潜在的有风险行为。此外，

还存在一个“奶奶漏洞”，即AI系统通过角色扮演等手段被提示生成意外的响应。这些攻击针对自然语言的特

征，被称为“提示攻击”。结合传统攻击技术（如XSS攻击）的提示攻击也普遍存在。

祖母漏洞

LLM制造商实施的安保措施本身无法充分应对这些攻击。因此，有必要对LLM提示进行风险评估，并据此

在用户输入和模型输出端进行防御检测。同时，通过优化和提升服务模型侧的提示内容和文本结构，对逃

逸攻击、角色假设和提示泄露等攻击进行防御检测，从而有效提升防御能力。

2

攻击模型成本。

多模态能力不仅为大型语言模型（LLM）应用带来各种商业