2024大语言模型威胁分类.pdfVIP

医疗保健中的信息技术治理、风险与合规

（第二版）

人工智能控制框架工作组的永久和官方访问地址为：

/research/working-groups/ai-controls

序言

在人工智能技术迅速发展的背景下，大语言模型（LLM）已成为推动技术创新

和业务转型的核心力量。其在自然语言理解、生成与处理方面的强大能力，正深刻

改变着人与信息、技术的互动方式。然而，随着LLM应用的广泛推广，伴随而来的

是一系列复杂的风险和挑战，尤其是在安全性、隐私保护和合规性方面，全球范围

内的应对压力愈加凸显。

为应对这些挑战，CSA大中华区发布《大语言模型威胁分类》报告，旨在为行

业提供一个全面的风险管理框架，帮助各行业识别、评估和管理LLM应用过程中可

能遇到的风险。本报告详尽地分析了LLM的关键资产、服务生命周期、影响类别和

威胁类别，为政策制定者、技术专家和行业决策者提供了一个清晰的理解和应对LLM

相关风险的框架。报告的主要内容包括LLM资产的分类，详细描述了从数据资产到

模型参数的各个方面；LLM服务生命周期的管理，涵盖了从准备到退役的各个阶段；

以及LLM服务的影响和威胁类别，包括数据泄露、模型操纵、供应链安全等关键领

域。

希望这份报告能成为LLM风险管理和安全控制领域的关键参考资料，帮助各界

在应对LLM带来的技术挑战时做出更明智的决策，为未来的研究、政策制定以及行

业发展提供坚实的理论支撑。

李雨航YaleLi

CSA大中华区主席兼研究院院长

9

目录

目标与范围12

与CSAAI控制框架的关系14

1.大语言模型概述12

1.1.数据资产15

1.2.云上大语言模型运维环境17

1.3.模型18

1.4.服务编排20

1.5.AI应用22

2.LLM服务的生命周期24

2.1准备25

2.2开发27

2.2.1设计阶段27

2.2.2发展供应链28

2.2.3训练阶段28

2.2.4开发过程中的关键考量29

2.3评估与确认29

2.3.1评估29

2.3.2验证/红队30

2.3.3重新评估30

2.3.4评估/验证过程中的主要考量31

2.4部署31

2.4.1编排32

2.4.2AI服务供应链32

2.4.3应用32

2.4.4部署过程关键因素33

10

2.5交付34

2.5.1运营34

2.5.2维护34

2.5.3持续改进35

2.5.4交付过程中的关键示项35

2.6服务退出36

2.6.1归档36

2.6.2数据删除36

2.6.3模型处置36

2.6.4服务退出期间的关键考虑因素37

3.大语言模型服务影响分类37

4.大语言模型服务威胁分类38

4.1模型操纵38

4.2数据