2024人工智能安全报告.pdf

想像与现实：

人工智能

恶意使用的威胁

人工智能

2024安全报告

2024人工智能安全报告

目录

一、AI的定义……………3

二、AI引发科技变革……………………3

三、AI存在滥用风险……………………4

四、AI普及引入多种威胁………………6

1、深度伪造…………………………6

2、黑产大语言模型基础设施………………………7

3、利用AI的自动化攻击…………9

4、AI武器化 ………………………10

5、LLM自身的安全风险……………11

6、恶意软件…………………………12

7、钓鱼邮件…………………………14

8、口令爆破…………………………15

9、验证码破解………………………16

10、社会工程学的技术支持………………………17

11、虚假内容和活动的生成………………………19

12、硬件传感器相关威胁…………20

五、当前状况总结…………………………21

六、应对措施建议…………………………21

1、安全行业…………………………21

2、监管机构…………………………22

3、政企机构…………………………22

4、网络用户…………………………23

2024人工智能安全报告

主要观点

人工智能（AI）是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨

大潜力的AI技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。

奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理

安全和军事安全等方面将构成严重威胁。

研究发现：

AI已成攻击工具，带来迫在眉睫的威胁，AI相关的网络攻击频次越来越高。

数据显示，在2023年，

基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件数量增长了1000%；奇安信威胁情报

中心监测发现，已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。同时