2025年蚂蚁集团：大模型应用可信框架助力企业构建可信AI体系报告-.docxVIP

December2025,IDC#CH厂商概况

蚂蚁集团：大模型应用可信框架助力企业构建可信AI体系SophiaWang,CISSP

IDC观点

生成式人工智能（GenAI）技术的浪潮正以前所未有的速度席卷千行百业，在催生新质生产力、重塑业务流程的同时，也彻底改写了企业安全风险的版图。尤其是当大模型及其驱动的智能体从实验室走向规模化产业应用时，其内生复杂性使得企业的运营管理难度与安全暴露面快速扩大。在企业级终端用户部署过程中，诸如模型幻觉、内容安全、数据安全等问题亟需解决。

构建端到端的可信AI体系是破局的核心。可信AI体系是一项需要从企业战略层面进行规划设计，并与业务目标深度融合的系统性工程。企业需将安全、治理左移，结合企业的AI风险评估，把安全、数据治理与合规放到首位执行。具体来说，构建有韧性的AI治理方案对于建设可信、安全的AI体系至关重要。大模型作为企业AI系统的重要组成部分，也将在企业整体的AI治理框架中分阶段、分步进行全生命周期的安全管控。其中，数据隐私与安全、透明度和可解释性、AI合规、模型监控与验证、偏差检测和缓解将作为AI治理的核心内容落地执行，助力企业构建可信AI体系。

关于厂商概述

本篇IDC厂商概述介绍了蚂蚁集团的公司概况，以及其提出的DKCF大模型应用可信框架的定义、内容和最佳实践，以便企业更好地了解DKCF框架理念，并为其未来的大模型应用可信建设提供指导。

市场综述

近年来，生成式AI已经成为全球最火热的技术和话题之一，通过技术的快速发展迭代，大语言模型、智能体等生成式AI技术在各行业快速渗透，助力企业业务提质增效。IDC预测，到2030年，人工智能将为全球带来22.3万亿美元的经济收入，占2030年全球GDP的3.7%。与此同时，伴随大模型、智能体在金融、政务、医疗、能源等行业应用落地不断加深，最终用户网络的攻击面进一步增大，引入了诸多全新的、动态的安全风险。举例来说，医疗聊天机器人的基座模型可能会由于意图判断失误、专家知识不足等原因提供过时甚至错误的信息给到用户，导致延误治疗等严重后果。在网络安全领域，攻击者会利用大模型的幻觉特性构建虚假信息网络，诱导大模型做出危险判断和动作等。因此，最终用户在落地大模型时，模型幻觉、可信推理、可信执行、访问安全、内容安全等均是其亟需解决的核心痛点。IDC最新调研显示，超过54%的最终用户对于大模型幻觉的问题表现出担忧，

大模型训练、推理、反馈全流程的可信是最终用户用好大模型和智能体的根本（见图1）。

图1

?2025IDC#CH2

全球用户关注的大模型与智能体风险

请问.以下哪—项是贵司部署大模型和智能体时最为关注的安全风险?

80.0%

70.0%

60.0%

受访

受访者%

40.0%

30.0%

20.0%

10.0%

0.0%

69.3%

54.1%

36.9%37.6%

0.0%2.0%

0.0%

模型幻觉IP泄露越狱提示词注入其他无回复

n=624全球

来源：IDCsGlobalGenAITechnologyTrendsSurvey,2025

今年3月，哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现，这些工具在新闻引用方面的平均错误率达到60%。一些研究显示，AI并不擅长辨别新闻事实来自哪里，会出现混淆信息来源、提供失效链接等问题。更令人担忧的是，随着模型规模的扩大，某些类型的幻觉问题不仅没有改善，反而呈现加剧趋势。

全球各国也已经关注到了大模型应用可信问题的重要性，美国国家标准与技术研究院（NIST）发布的《人工智能风险管理框架》、欧盟制定的《人工智能法案》，以及中国颁布的《生成式人工智能服务管理暂行办法》，均对生成式AI生成内容的真实性、准确性等提出了要求，明确了管理者需对其做到尽职关心。上述法律法规共同指向一个核心：企业需要为其部署的大模型、智能体应用的可信度负责。蚂蚁集团的DKCF大模型可信应用框架对于大