基于 MCP 实现 AI 应用架构新范式的一线实践.pdf

基于MCP实现AI应用架构新范式的一线实践

编者按：应用越智能，背后的设计会越复杂。软件的本质是解决复杂性问题，MCP虽打开了

智能的创意上限，但也给后端的设计带来了无限的复杂度。本文旨在从MCP的技术原理、

降低MCPServer构建复杂度、提升Server运行稳定性等方面出发，分享我们的一些实践

心得。文章内容较长，以下是导读大纲。

1、介绍MCP的概念及其运作机制。

2、解释MCP和FunctionCalling之间的区别。

3、讲述MCP的本质和挑战，包括描述MCP信息的系统提示词的挑战，MCPClient与

MCPServer之间协同关系的挑战，快速构建MCPServer，自建Dify的痛点等。

4、分析如何解决MCP的各个挑战，包括MCPRegister、MCPServer和Promt的统一

管理、MCP效果验证体系和安全性保障、MCP网关、MCPServer的动态服务发现、

StreamableHTTP、弹性效率、可观测等。

5、最后探讨MCP对AI应用架构新范式的影响，并介绍MCPServerFirst的理念。

01

AIAgent现状及架构

人工智能（AI）在商业领域的应用正日益成为推动创新和效率提升的核心力量。其核心在于

多个AIAgent的协作，这些AIAgent通过分工与合作，共同承载AI应用所支持的业务需

求。这种协作模式不仅优化了企业运营，还展现了AI在解决高影响力挑战中的潜力。

当前的AIAgent，无论是和各种Tools（各类业务服务接口）交互，还是和各类Memory

（各类存储服务接口）交互，亦或是和各类LLMs（各类大语言模型）交互，都是通过HTTP

协议的，除了LLM因为基本都遵循OpenAI范式以外，和其他的Tools和Memory交互

都需要逐一了解它们的返回格式进行解析和适配。

当一个AI应用包含多个AIAgent时，或者一个AI应用需要和多个业务服务接口和存储服务

接口交互时，整体的开发工作量是很大的，主要体现在3个方面：

找适合该AI应用的业务接口和存储服务接口：

o找三方服务接口。

o在公司内部找合适的服务的接口。

o找不到就自己先开发接口。

解析接口的返回格式：无论是三方服务接口还是公司内部的服务接口，返回格式可能都千

奇百怪，需要逐一进行了解和解析。

编排多个AIAgent：

o有Dify这类流程可视化的工具辅助编排，减轻了很多编排工作，但复杂度依然不低，

且运行效率和性能方面还是有瓶颈的。

o通过编码方式做编排（比如使用SpringAIAlibaba或LangChain等），虽然性能

上更优，但是复杂度更高，编排效率和灵活性都有不足。

所以目前很多AI应用就只有少数几个AIAgent，甚至很多AI应用背后就只有一个AI

Agent。这也是目前AI应用背后的AIAgent依然还处在第一个阶段（Siloed,Single-

PurposeAgents）的原因。

为了能使AIAgent进入到第二阶段（Platform-LevelAgents），我们使用云原生API网

关做了统一的接入层，通过一个网关三种不同角色的方式，解决了一部分复杂度：

作为南北向流量网关，统一管理AIAgent的入口流量，核心做转发、负载、鉴权认证、

安全、流控等。

作为AI网关，代理各类LLMs，向AIAgent屏蔽了繁杂的接入，并且解决了很多生产级

的问题，比如多模型切换、模型Fallback、多APIKey管理、安全、联网搜索等。

AI网关代理LLMs的详细文章参