2025年前AIGC安全风险报告（中文版）.docx

1

到2025年，生成式人工智能的安全风险

2

总结

我们的定义和范围安全保障：公民社会和人民的保护、福

我们的定义和范围

安全保障：公民社会和人民的保护、福祉和自主权。

人工智能（AI）：通过执行认知任务来实现目标的机器驱动能力。

前沿人工智能：功能强大的通用人工智能模型，可以执行各种任务，并与当今最先进的模型相匹配或超越。

生成人工智能（GenAI）：可以创建新内容的人工智能系统。最流行的模型通过文本提示生成文本和图像，但有些模型使用图像等其他输入来创建音频、视频和图像。

大型语言模型（LLM）：在大量基于文本的数据上训练的模型，通常来自互联网。

风险：涉及暴露于有害影响的情况。威胁：一种恶意风险，涉及一个有意图的行为者。

该评估未考虑与GenerativeAI相关的军事风险。

,物理安全风险可能会上升。

准备各不相同。全球监管不完整，很可能

益。但它也将通过增强威胁行为者的能力和提高攻击的有效性来增加安全和安保风险。

?如果管理得当，生成性人工智能技术的开发和采用有可能带来巨大的好处。许多部门的生产力和创新，包括

医疗、金融和信息技术将加速发展。

?生成型人工智能还将显著增加安全保障风险。到

2025年，生成性人工智能更有可能放大现有风险，而不是创造全新的风险，但它将大幅增加一些威胁的速度和规模。预测技术进步的困难为技术惊喜创造了巨大的潜力；其他威胁

几乎可以肯定的是，会出现意想不到的情况。

?这些技术的迅速扩散和日益普及几乎肯定会使不那么复杂的威胁行为者能够进行以前无法实现的攻击。

?数字领域的风险（如网络攻击、欺诈、诈骗、冒充、儿童性虐待图像）最有可能显现，并在2025年前产生最大影响。

?随着技术的发展和普及，政治制度和社会面临的风险将增加。合成媒体的扩散有可能侵蚀民主参与和公众对政府机构的信任。

?随着GenerativeAI嵌入更多物理系统，包括关键基础设施

?总风险很大。各国、行业和社会为减轻这些风险所做的无法预测未来的发展。

这项评估借鉴了广泛的来源，包括现有和新的研究、情报评估、专家见解和开源。

细节

3

1.生成人工智能的发展和应用与许多其他技术交叉。其开发和使用将产生广泛影响

-积极和消极-国际。技术进步的速度很快，对如何衡量和比较人工智能模型的性能缺乏共识，以及该技术的广泛能力，这意味着安全和安保影响的评估具有挑战性。因此，我们将分析局限于关键风险，并将有限的时间范围定为2025年。我们排除了对生成人工智能军事应用所带来的风险的考虑。

2.先行者地位和媒体广泛关注的优势加速了全球对生成的兴趣

人工智能。自2020年以来，生成型人工智能的进展大大超过了专家的预期，模型在少数特定任务中的表现优于人类。进展仍然很快，到2025年，技术发展的步伐不太可能放缓。

性能更高、更大的LLM几乎肯定会发布，但到202年，这将在多大程度上转化为显著改进的实

用尚不清楚。全球监管不完整，落后于当前的技术能预来的

生成型人工智能生态系统

3.到2025年，私营人工智能公司仍将是尖端生成人工智能研究和前沿模型的关键参与者。研究人员、资金、硬件、计算和数据

将继续集中在这些商业组织中，使它们能够进行最先进的开发。

4.开源生成人工智能通过减少开发模型的进入壁垒，促进了生成人工智能的快速扩散和民主化。迄今为止，它们的表现大多落后于前沿车型；

开源模型几乎肯定会有所改进，但到2025年，

它们不太可能比领先的商业前沿模型更有能力。开源模型的激增

可访问性，因此带来了全球安全和安保影响，尤其是对于那些由于缺乏有效保障而有可能允许恶意使用的模型。

4

威胁行为者

5.生成人工智能工具的性能、可用性和可访问性不断提高，任何人都有可能通过恶意使用、滥用或事故构成威胁。几乎可以肯定的是，世代人工智能将继续降低那些试图进行以前无法实现的攻击的不那么复杂的威胁行为者的进入门槛。除了有组织的团体，政治活动家和孤独的行动者可能会将生成性人工智能用于意识形态、政治和个人目的。

6.罪犯极有可能以与普通人群相同的速度和步伐采用生成性人工智能技术，但一些创新群体和个人将是早期采用者。犯罪分子使用该技术极有可能加速诈骗、欺诈、冒充、勒索软件、货币盗窃、数据收集、儿童性虐待图像和语音克隆的频率和复杂性。但到2025年，犯罪分子将不太可能成功利用生成性人工智能创建新的恶意软件。

7.到2025年，生成性人工智能有可能增强恐怖分子在宣传、