- 1、本文档共195页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
从云原生到AI原生,
网关的发展趋势和最佳实践
云原生API网关重磅发布
谢吉宝(唐三)
阿里云智能集团资深技术专家、云原生产品线中间件负责人
软件架构的演进历程
单体架构垂直架构
单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构
按量使用极致弹性服务管理RPC技术实现快维护成本高模块化负载均衡高密度部署原子、自治KubernetesRuntime?
按量使用
极致弹性
服务管理
RPC技术
实现快
维护成本高
模块化
负载均衡
高密度部署
原子、自治
Kubernetes
Runtime
?
流量网关ESB微服务网关云原生网关AI
流量网关ESB微服务网关云原生网关AI网关?
AI原生的新挑战
高延时长连接大带宽API多AI原生应用架构
高延时
长连接
大带宽
API多
AI原生应用架构
由AI场景常见的Websocket和SSE协议决定,长连接比例很高,要求网关更新配置操作对长连接
由AI场景常见的Websocket和SSE协议决定,长连接比例很高,要求网关更新配置操作对长连接无影响,业务无感。
AI应用
Agent、轻量
AI时代会以轻量的AI智能体做为主流,所有的系统交互全由API进行通信。API会成为AI原生的一等公民。
结合LLM上下文来回传输、高延时特性,AI场景对带宽的消耗远超普通应用,网关如果没有实现较好的流式处理和内存回收机制,容易导致内存快速上涨。
LLM
LLM大语言模型
AI网关
我们到底需要多少个网关?
接入网关业务网关
接入网关
业务网关
安全网关流量网关
安全网关
流量网关
微服务API管理?长链接AI网关协议转换大带宽高延时
微服务
API管理
?
长链接
AI网关
协议转换
大带宽
高延时
路由
云原生网关
服务发现
智能稳定安全性能
智能
稳定
安全
性能
集成
集成
网关的发展趋势
智能化云原生高集成
智能化
云原生
全新ModelK8sPOD云产品:云原生API网关(Higress开源项目)K8s新一代网关模式业务请求安全防护流量防护开放平台服务发现
全新
Model
K8s
POD
云产品:云原生API网关
(Higress开源项目)
K8s
新一代网关模式
业务请求
安全防护
流量防护开放平台
服务发现服务治理
后端服务
流量网关IngressAPI网关
微服务网关/AIProxy
POD
POD
Model
Model
K8s
传统网关模式
云原生API网关:正式商业化
扫码加入客户群
扫码加入客户群
1
1个月6折
免费试用不限购、不限时、不限是否首次购买
CONTENT
价值优势
01高集成:零代码构建AI应用
02零信任:AI防护内容合规
03高性能:软硬一体加速响应体验
04高可用:服务治理无损变更
高集成:零代码构建AI应用
AI开发插件集LLM缓存提示词请求/响应转换向量检索AI安全防护内容审核插件Token限流插件g过Token配额插件多模型适配协议转换
AI开发插件集
LLM缓存
提示词
请求/响应转换
向量检索
AI安全防护
内容审核插件
Token限流插件g过Token配额插件
多模型适配
协议转换
AI
重试
Fallback
代理插件
API
可观测
AI统计插件
LLM访问日志
Token消费观
您可能关注的文档
- 2024 中国企业行动学习实践调研报告.docx
- AI教育硬件全景报告2024 -量子位智库.docx
- google deepMind:通过强化学习训练语言模型进行自我纠正.docx
- 城市低空经济“链接力”指数(成都)报告2024.docx
- 多模态大语言模型视觉提示 综述 Visual Prompting in Multimodal Large Language Models A Survey.docx
- 房地产 -2024年一建管理《红宝书》 -建设工程项目管理历年真题解析及预测.docx
- 房地产 -毛坯房交付标准及品质提升方案.docx
- 房地产培训 -如何干好物业项目经理.docx
- 粉丝尼尔森关于西班牙裔媒体消费和体育参与的游戏手册 Fanáticos Nielsen’s playbook on Hispanic audiences, sports and media engagement.docx
- 红餐:火锅 现制饮品”研究报告2024.docx
文档评论(0)