阿里巴巴_AI网关:AI原生架构下的智能流量中枢-2025.pdfVIP

阿里巴巴_AI网关:AI原生架构下的智能流量中枢-2025.pdf

  1. 1、本文档被系统程序自动判定探测到侵权嫌疑,本站暂时做下架处理。
  2. 2、如果您确认为侵权,可联系本站左侧在线QQ客服请求删除。我们会保证在24小时内做出处理,应急电话:400-050-0827。
  3. 3、此文档由网友上传,因疑似侵权的原因,本站不提供该文档下载,只提供部分内容试读。如果您是出版社/作者,看到后可认领文档,您也可以联系本站进行批量认领。
查看更多

AI网关:AI原生架构下的智能流量中枢

赵炳堃(秉钧)|阿里云智能云原生高级开发工程师

01AI网关的演进历程与核心特性

02HigressAI网关的落地实践

03HiMarketAI开放平台

04总结

AI网关的演进历程与核心特性

网关的演进历程

AI网关是伴随AI应用快速发展的必然产物

实现快、维护成本高模块化负载均衡服务管理、RPC技术高密度部署原子、自治按量使用、极致弹性AI应用、Agent、轻量

KubernetesRuntimeLLM

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

流量网关(Nginx)ESB微服务网关云原生网关AI网关

AI应用落地过程中的挑战

•多模型•API-KEY泄漏稳定性保障

•多模态

工具调用•生成内容合规

•多场景

•模型服务中断

安全合规

模型集成•权限管理•负载均衡

•工具精准性•可观测与告警

•存量API转换•成本失控

Higress-AI网关的核心特性LLMs

通义/百炼/PAI内置AI网关,每天亿级多模态请求生产验证

通义千问GoogleGemini

AI开发插件集AI安全防护多模型适配

LLM缓存

协议转换OpenAIDeepSeek

提示词模板内容审核插件

AIAgentAI…….

提示词装饰器Token限流插件

文档评论(0)

专注于金融公司,实体制造业,销售代理公司的企业文化和实体项目或者互联网项目的策划编写润色,曾经协助多家基金公司,保险代理公司,房地产代销公司等初创企业完成企业文化和人事营销等制度的编写,由于疫情影响离开了喜欢的首都。

1亿VIP精品文档

相关文档