人工智能安全行业大模型安全评测调研报告.docVIP

人工智能安全行业大模型安全评测调研报告

一、大模型安全评测的行业背景与发展现状

（一）大模型产业爆发催生安全评测刚需

自2022年ChatGPT问世以来，生成式人工智能技术进入爆发式增长阶段，大模型作为核心驱动力，已广泛渗透到金融、医疗、教育、政务、工业制造等多个关键行业。据IDC预测，2026年全球大模型市场规模将达到400亿美元，年复合增长率超60%。然而，大模型在带来生产效率革命的同时，其安全风险也日益凸显。

在金融领域，大模型被用于智能投顾、风险评估等场景，但恶意攻击者可通过prompt注入诱导模型生成虚假投资建议，导致用户财产损失；在医疗场景，大模型辅助诊断若被污染，可能输出错误的病情判断，危及患者生命安全；在政务领域，大模型处理敏感信息时，存在数据泄露、生成虚假公文等风险。这些安全事件的潜在威胁，使得大模型安全评测成为产业落地的必要前提。

（二）政策法规推动评测体系标准化

为规范大模型产业健康发展，全球各国纷纷出台相关政策法规，将安全评测作为大模型上线的强制性要求。2023年7月，我国发布《生成式人工智能服务管理暂行办法》，明确规定生成式人工智能服务提供者应当按照国家有关规定，对生成式人工智能服务进行安全评估。欧盟《人工智能法案》将大模型划分为不同风险等级，要求高风险大模型必须通过严格的安全评测才能进入市场。

政策的倒逼促使大模型安全评测行业快速发展。目前，国内已有超过