阿里巴巴_AI网关：AI原生架构下的智能流量中枢-2025.pdfVIP

AI网关：AI原生架构下的智能流量中枢

赵炳堃（秉钧）｜阿里云智能云原生高级开发工程师

01AI网关的演进历程与核心特性

02HigressAI网关的落地实践

03HiMarketAI开放平台

04总结

AI网关的演进历程与核心特性

网关的演进历程

AI网关是伴随AI应用快速发展的必然产物

实现快、维护成本高模块化负载均衡服务管理、RPC技术高密度部署原子、自治按量使用、极致弹性AI应用、Agent、轻量

KubernetesRuntimeLLM

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

流量网关（Nginx）ESB微服务网关云原生网关AI网关

AI应用落地过程中的挑战

•多模型•API-KEY泄漏稳定性保障

•多模态

工具调用•生成内容合规

•多场景

•模型服务中断

安全合规

模型集成•权限管理•负载均衡

•工具精准性•可观测与告警

•存量API转换•成本失控

Higress-AI网关的核心特性LLMs

通义/百炼/PAI内置AI网关，每天亿级多模态请求生产验证

通义千问GoogleGemini

AI开发插件集AI安全防护多模型适配

LLM缓存

协议转换OpenAIDeepSeek

提示词模板内容审核插件

AIAgentAI…….

提示词装饰器Token限流插件