2024为AI助力的应用程序建立治理框架白皮书 .docxVIP

为AI助力的应用程序建立治理框架

人工智能(AI)的发展日新月异，各行各业的企业都在以前所未有的速度部署AI助力的应用程

序。例如，在PrismaCloud的2024年云原生安全现状报告1中，100%的受访者都表示自己欣然接受AI辅助的应用程序开发——对于这个几年前还被许多人视为科幻的技术来说，这确实是一个让人惊讶的结果。然而，尽管AI系统提供了巨大的优势，但也带来了全新的安全风险和治理挑战，而传统的网络安全方法并不具备应对这些风险和挑战的能力。

作为一名安全领导者，必须了解AI的现状、其潜在隐患以及给企业带来的独特风险。在本白皮书中，我们概述了AI的形势，强调了关键的安全考虑因素，并提出了一个治理框架，帮助您在这个复杂的环境中做到游刃有余。您将清楚地了解企业可能有机会探索的关键AI技术及其安全隐患，以及需要考虑哪些潜在的防护和缓解措施。我们还将帮助您了解在制定AI安全战略时需要考虑哪些因素。

1/state-of-cloud-native-security

PrismabyPaloAltoNetworks|白皮书|AI治理 1

当前的AI形势及其安全隐患

近年来，AI领域发生了翻天覆地的变化，随着企业评估和实施一系列新技术，无论是通用系统还是专用系统都取得了重大进展。

为了应对AI的相关风险和机遇，安全领导者需要时刻把握这个不断发展的生态系统的脉搏。风险可能以多种形式表现出来，正如我们最近的研究发现的一样，47%的企业都在担心与AI生成的代码相关的安全风险2。

在本文中，我们将重点关注部署AI助力的应用程序时出现的云基础设施风险。

截止到今天，以下是AI领域的基本轮廓。

“传统的”AI和ML

多年来，各家企业一直在利用特定于领域的AI和机器学习(ML)推理工具来提高制造、供应链优化、欺诈检测、在线营销和其他领域的效率和自动化程度。这些狭义的系统在特定的数据集基础上进行训练，用于执行明确定义的任务。虽然这些系统已经成为许多业务流程不可或缺的一部分，但每个应用程序通常都是孤立的，并且作用范围有限。

虽然这些工具已经存在了很长一段时间，并且近年来可能没有经历什么突破性的进展，但它们受到了“水涨船高”现象的影响。围绕着 AI的广泛热情正在推动着人们加速投入预算来部署这些工具以及最新的LLM工具。

安全隐患

?确保用于训练和运行AI/ML模型的数据的完整性和安全性

?监控AI/ML系统是否存在异常行为、意外输出或性能下降，这些现象可能表明存在数据中毒攻击、模型规避和系统入侵等安全问题

?验证AI/ML模型没有引入无意识的偏见、公平性问题或歧视性结果，从而避免产生法律和名誉风险，这就需要定期对模型审核公平性

?提供适当的访问控制和治理，规定谁可以开发、修改或使用AI/ML

系统

传统的AI和机器学习

用例

?制造优化、供应链、欺诈检测、营销

安全风险

?数据完整性、模型性能监控、偏见

审核、访问控制

2/state-of-cloud-native-security

PrismabyPaloAltoNetworks|白皮书|AI治理 2

大型语言模型

LLM已经发展成一种高度全能的通用AI系统，能够进行开放式的对话、生成连贯的文本，甚至还能编写代码。虽然面向消费者的聊天机器人（如ChatGPT）引起了广泛关注，但这也只是冰山一角。LLM的更大影响力在于能够以终端用户通常无法立即察觉的方式，为各种各样的企业应用程序（包括内部应用程序和面向客户的应用程序）注入动力。

在这个大背景下，有几类实现模式，每一类都依赖于一套不同的工具并带来相关的安全隐患。

用例 安全风险

预训练的基础模型

微调和RAG

LLM

?内容生成、聊天机器人、情感分析、翻译、代码助手

?专业AI助手（支持、人力资源、IT）、问答应用（文档、

代码、培训）

?影子AI项目、数据隐私、模型治理、输出控制

?微调过程中敏感数据的暴

露、数据治理

自定义模型训练 ?高级应用（药物研发、材料

科学、自主系统）

?数据中毒攻击、计算资源隔离、模型可问责性和可

审核性

使用预训练的LLM（专属或开源）

OpenAI和Anthropic等云提供商提供API来访问功能强大的LLM，并由其负责管理和保护。企业可以利用这些API将LLM功能纳入自家的应用程序，不必亲自管理底层的基础设施。

另外，一些开源的LLM（如Meta的LLaMa）也可以在企业自己的基础设施上运行。这提供了更多的控制和定制选项，但需要