2025 SECon 大会--AI 原生应用架构专场分享材料.pdfVIP

01AI网关的演进历程与核心特性

02HigressAI网关的落地实践

03HiMarketAI开放平台

04总结

AI网关的演进历程与核心特性

网关的演进历程

AI网关是伴随AI应用快速发展的必然产物

实现快、维护成本高模块化负载均衡服务管理、RPC技术高密度部署原子、自治按量使用、极致弹性AI应用、Agent、轻量

KubernetesRuntimeLLM

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

流量网关（Nginx）ESB微服务网关云原生网关AI网关

AI应用落地过程中的挑战

•多模型•API-KEY泄漏稳定性保障

•多模态

工具调用•生成内容合规

•多场景

•模型服务中断

安全合规

模型集成•权限管理•负载均衡

•工具精准性•可观测与告警

•存量API转换•成本失控

Higress-AI网关的核心特性LLMs

通义/百炼/PAI内置AI网关，每天亿级多模态请求生产验证

通义千问GoogleGemini

AI开发插件集AI安全防护多模型适配

LLM缓存

协议转换OpenAIDeepSeek

提示词模板内容审核插件

AIAgentAI…….

提示词装饰器Token限流插件代多APIKey管理

ClaudeDesktop