QCon-搜索推荐Serverless架构和业务中台技术实践_沈敏-2019.10-31页.pdf_.pptxVIP

搜索推荐Serverless架构和业务中 台技术实践沈敏阿里巴巴高级技术专家在此键入姓名在此键入tittle自我介绍阿里巴巴在职6年，专注搜索推荐及大数据研发方向，目前负责阿里个性化平台技术架 构，是目前集团业务规模最大的serverless平台，经历了双11大促百万级QPS稳定性 考验，不断在挑战双11技术极限和想象力。团队以“让天下没有难开发的业务”为 slogon，支持集团业务的快速迭代和创新，追求让用户真正只关心自己的业务逻辑。目录搜索推荐中台介绍Serverless实践茶歇的双11搜索推荐整体架构（AI·OS）标准化：从搜索到推荐ABFS：基础特征服务iGraph：图引擎 BE/DII：召回引擎 RTP：Rank Service HA3：搜索引擎 AOP：一站式机器学习平台 TPP：灵活业务平台TPP: 搜索推荐业务平台支持算法及业务的快速迭代，让用户真正专注自己的核心逻辑集团最大业务规模serverless平台：服务集团62+BU，万级别场景 集团最大的JAVA单体应用之一峰值QPS阿里在线水位最高的JAVA应用之一双11百万级QPS，万级别容器2015201620172018搜索推荐中台目标?‰ ?‰+ 3№ ?‰ AI OS1 + N ‰$ * 9/4 ? ? 3‰ 54 ? ?62Serverless+№+ 1 8 : 3 0., g$ ?3№?‰ №7!φ图化算子化: /目录搜索推荐中台介绍Serverless实践茶歇的双11逼出来的Serverless新业务创建成本过高场景/团队爆发式增长我的集群资源调配太难，水位极低过万双11挑战巨大我的集群场景0我的集群20112013201420152016201720182019Serverless的开始：FAAS关注业务逻辑剥离业务开发不关心的问题基于JVM Runtime面向JAVA高度性能优化面向在线百万级低延迟在线服务快速弹性全时秒级弹性快速迭代快速实验和反馈传统应用Faas新业务成本git/aone/应用分组/vip/服务框 架/业务逻辑git/业务逻辑监控ALL自建平台提供细粒度多维度监控流量治理ALL自建平台提供限流/降级/负载均衡/ 容灾/切流资源手动全时快速弹性迭代无统一实验体系/协作成本高灵活实验/快速发布/?捷协作 专注业务逻辑产品和体验一键创建函数和资源就绪 秒级全方位监控日志分析 监控报警化解资源之忧：从Docker到JVM虚拟化高密度部署AI时代永远缺机器Docker化更细粒度的隔离：AJDK多租户 高密度部署代码隔离 资源隔离双11大促水位50%热部署：秒级发布：没有镜像push/pull过程，不再冷启动容器混布下的调度从同构到异构 同构：流量稀疏，性能低 隔离性差调度简单异构：流量聚集，性能较优 隔离性强二层调度：从容器到场景流量调度：智能负载均衡从运维解脱：全时秒级弹性规模：万级别场景监控：5s级监控反馈 Fiber：10s级扩容长尾：0-1/1-0能力 智能：多目标弹性CPU/超时率/降级率/限流率算法灵活实验业务逻辑复杂度： 千行到10万行实验零等待： AB实验分层实验 秒级发布Blink实时效果反馈GraalVM多语言：前后端一体快速迭代Java Runtime is “SideCar”多语言无缝对接集团Java生态 前后端一体高效研发Service Mesh：团队协作的利?团队协作：工程和算法解耦信息流多个算法团队的解藕相比istio/envoy： 基本无性能开销 Java语言生态受众广 丰富的自动降级策略 异构下的流量调度 兜底机制Not Only ServerLess服务调用只占算法/业务的5%代码复杂推荐场景代码10w+行相同逻辑的编码千人千面，交接成本巨大 逢大促全员性能优化离只关心自己的业务逻辑还有很大距离全图化：业务逻辑标准化借鉴TensorFlow，PyTorch，Flink设计思路 逻辑层和物理层解耦同步编程前端语言零基础编写全异步代码 UDF承接用户业务逻辑后端全异步执行：高门槛的性能优化下沉平台 AJDK协程Reactive业务语义的标准化算子千人千面的复杂逻辑归一化为高性能平台标准实现标准化流程模版真正只扩展自己的业务逻辑零基础编写全异步化高性能代码同步编程体验AJDK协程 Reactive数据处理的高性能抽象借鉴Blink的优化思路：SQL化平台优化粒度可以细到Long.parse, String.intern等极致的优化代码级跨团队协作Faas级协作带来网络/序列化开销 召回，打分衔接数据量太大在线Latency容忍度低流程化定义主流程，部分子图逻辑并行迭代图合并部署单机合并部署跨团队大图搜索推荐业务Serverless总结用户开发流量治理容器Runtime 调度目录