大模型组件漏洞与应用威胁安全研究报告.pdf

可信网络安全世界

天融信阿尔法实验室版权所有©天融信保留一切权利1/51

可信网络安全世界

目录

一、前言4

二、概述5

1、大模型的部署6

2、大模型相关组件9

3、大模型安全风险10

三、大模型训练微调漏洞12

1、训练工具漏洞13

2、微调工具漏洞14

3、小结16

四、大模型推理优化部署漏洞16

1、推理优化组件漏洞16

2、部署组件漏洞19

3、小结23

五、大模型应用框架漏洞24

1、快速构建框架漏洞24

2、UI及可视化工具漏洞29

3、分布式计算运维工具漏洞31

4、小结33

六、其他大模型相关工具漏洞33

1、工作流扩展工具漏洞34

2、数据及特征工具漏洞37

3、开发及实验环境漏洞39

4、小结42

七、模型使用阶段漏洞42

天融信阿尔法实验室版权所有©天融信保留一切权利2/51

可信网络安全世界

1、模型越狱（Jailbreaking）42

2、模型数据泄漏44

3、Prompt泄露与注入漏洞46

4、模型助手类漏洞47

八、总结49

天融信阿尔法实验室版权所有©天融信保留一切权利3/51

可信网络安全世界

一、前言

大模型是指参数量庞大、计算资源需求高的机器学习模型，涵盖自然语言处理、计算

机视觉、语音识别等多个领域。是由包含大量参数（通常数十亿个或更多）的人工神经网

络组成的模型。大模型因其庞大的参数量，能够捕捉和学习数据中的复杂关系和模式，从

而在语言理解、文本生成、简单图像识别等任务上展现出更接近人类水平的能力。由于大

模型的训练和运行需要大量的计算资源，因此也推动了高性能GPU和高效算法的研究，

使人工智能技术获得快速发展。大模型通常具有更好的泛化能力，即在未见过的数据上也

能表现出较好的性能，因为它们能够从训练数据中学习到更广泛的特征表示。大模型表现

出的各种能力其被应用到了不同的行业与领域。

随着人工智能技术的发展和算力的提升，大模型的参数量级越来越大，架构也越来越

复杂。最初的大模型是单模态的，现阶段已转变为多模态。这里的“模态”是指一种输入

或输出数据类型，例如文本、图像、视频、音频等。单模态大模型是指专门处理单一类型

数据的大模型，不涉及跨模态的交互和转换，输入输出均为同一模态。多模态大模型是指

能够同时处理多种模态数据的大模型，支持跨模态的联合理解、生成或转换。大模型开发

者在提升大模型效果及扩展其能力的同时，却较少关注大模型的安全性，其安全性也很重

要。大模型架构复杂性的提升，带来了更多的攻击面。大模型在训练和部署的过程中，还

需要很多其他的第三方组件，这些组件的安全性也与大模型的安全息息相关。这些因素为

大模型的安全性带来了更多的风险和挑战。

大模型安全是人工智能发展的核心议题，其重要性体现在三个方面：第一点，大模型

若被恶意操控可能生成虚假信息、煽动性言论或深度伪造内容，威胁社会信任与公共安

全；第二点，训练数据的隐私泄露风险可能导致用