2024 云栖大会微服务和网关相关演讲材料.pdf

从云原生到AI原生，

网关的发展趋势和最佳实践

云原生API网关重磅发布

谢吉宝（唐三）

阿里云智能集团资深技术专家、云原生产品线中间件负责人

软件架构的演进历程

单体架构垂直架构SOA架构微服务架构云原生架构AI原生架构

实现快模块化服务管理高密度部署按量使用

维护成本高负载均衡RPC技术原子、自治极致弹性

？

KubernetesRuntime

流量网关ESB微服务网关云原生网关AI网关？

AI原生的新挑战

AI原生应用架构API多长连接高高延延时时大带宽

AI应用AI时代会以轻量的AI智能体由AI场景常见的LLM推理的响应延时比普通结合LLM上下文来回传

Agent、轻量做为主流，所有的系统交互Websocket和SSE协议决应用要高出很多，使得AI输、高延时特性，AI场景对

全由API进行通信。API会成定，长连接比例很高，要求应用面向恶意攻击很脆弱，带宽的消耗远超普通应用，

为AI原生的一等公民。网关更新配置操作对长连接容易被构造慢请求进行异步网关如果没有实现较好的流

无影响，业务无感。并发攻击，攻击者的成本式处理和内存回收机制，容

低，但服务端的开销很高。易导致内存快速上涨。

LLM大语言模型

AI网关

我们到底需要多少个网关？

接入网关业务网关

流量网关安全网关

API

微服务

管理

路由长链接

协议

转换云原生AI网关大带宽

服务网关？

高延时

发现

稳定