2025 SECon 大会--AI 原生应用架构专场分享材料.pdfVIP

  • 0
  • 0
  • 约7.27万字
  • 发布于山东
  • 举报
  • 文档已下架,其它文档更精彩

2025 SECon 大会--AI 原生应用架构专场分享材料.pdf

01AI网关的演进历程与核心特性

02HigressAI网关的落地实践

03HiMarketAI开放平台

04总结

AI网关的演进历程与核心特性

网关的演进历程

AI网关是伴随AI应用快速发展的必然产物

实现快、维护成本高模块化负载均衡服务管理、RPC技术高密度部署原子、自治按量使用、极致弹性AI应用、Agent、轻量

KubernetesRuntimeLLM

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

流量网关(Nginx)ESB微服务网关云原生网关AI网关

AI应用落地过程中的挑战

•多模型•API-KEY泄漏稳定性保障

•多模态

工具调用•生成内容合规

•多场景

•模型服务中断

安全合规

模型集成•权限管理•负载均衡

•工具精准性•可观测与告警

•存量API转换•成本失控

Higress-AI网关的核心特性LLMs

通义/百炼/PAI内置AI网关,每天亿级多模态请求生产验证

通义千问GoogleGemini

AI开发插件集AI安全防护多模型适配

LLM缓存

协议转换OpenAIDeepSeek

提示词模板内容审核插件

AIAgentAI…….

提示词装饰器Token限流插件代多APIKey管理

ClaudeDesktop

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档