Netflix微服务技术架构反向工程.docx

Netflix微服务技术架构反向工程Netflix 是美国在线影片租赁商，曾利用超过 100 亿次的用户观看纪录分析观众喜好，制作出热播剧集《纸牌屋》。Netflix 还是业界微服务和 DevOps 组织的楷模，有大规模生产级微服务的成功实践。本文是作者杨波老师多年研究 Netflix 技术资料的总结，可以认为是对 Netflix 微服务技术架构的一次全面系统的反向工程。为啥前面要花两篇讲组织架构背景和转型？因为微服务和 DevOps 在本质上需要组织架构转型 (Re-org)，组织架构对了，技术架构才能落地下来。如不考虑组织架构，直接切入技术架构（很多架构师的通病），则失败风险巨大。为什么要以 Netflix 技术为例？因为 Netflix 是业界微服务和 DevOps 组织的楷模，有大规模生产级微服务的成功实践。而且其技术栈大部分开源，模块化抽象好，整个体系是一个样板。相关技术资料也丰富，可以从其公司的 techblog 或者 slideshare 上直接获得。Netflix 大规模生产级微服务 ?微服务很多公司 (Amazon, eBay, BAT) 都有，甚至比 Netflix 做得更早，但 Netflix 大概是大规模生产级微服务做得最杰出的。100s 范围的微服务（2016 年的数据是超过 500 个），1000s 范围的每日生产变更，10,000s 范围的实例，1,000,000s 范围的活跃客户数，1,000,000,000s 范围的度量指标。但是只有 10s 范围的运维工程师，没有自己的数据中心 NOC，应该算微服务和 DevOps 的最高境界了。下面两个图片来自附录 [2]。? ?图 1，Netflix 生态系统? ?图 2，Netflix 运维工程师数量很少下图 3 是 Netflix 微服务可视化来自附录 [3]? ?图 3，Netflix 微服务可视化Netflix 微服务支撑技术大图 ?我们可以通过三个宏观视图，全面理解 Netflix 微服务技术架构体系：从下至上的分层视图? ?图 4，分层技术体系（从下而上）第 1 层：IaaS 层，计算，网络，负载均衡和存储等服务，Netflix 没有自己的数据中心，依赖 AWS 提供的 IaaS 服务。第 2 层：PaaS 层，平台运行时服务，框架和库，监控和可靠性，持续交付和大数据等服务。Netflix 平台团队打造的 PaaS 平台，是支撑微服务的核心基础设施。该层的大部分组件开源，统称 NetflixOSS[附录 1]。第 3 层：应用和服务层，相当于业务能力交付层，各业务团队在 PaaS 和 IaaS 平台基础上构建面向内外客户的微服务和应用。? ?从外到内的分层视图 ?? ?图 5，微服务分层视图（从外而内）第 0 层：端用户设备层，浏览器，手持设备，智能电视，游戏设备等等。据称 Netflix 要支持超过 1000 种端用户设备。第 1 层：接入层，基于 AWS 的 ELB 接入用户流量。第 2 层：网关层，将外部请求反向路由到内部微服务，Netflix 使用自研 Zuul 网关。网关只负责跨横切面功能（反向路由，安全，限流熔断和日志监控等），无业务逻辑。网关无状态部署，依赖前端 ELB 做负载均衡。第 3 层：聚合服务层，负责对后台微服务进行聚合裁减加工后暴露给前端设备，在 Netflix 的体系中，该层也称边界服务层 (Edge Service)，或者设备适配层。考虑到设备的多样性和前端业务的多变性，Netflix 前端团队大量使用 Groovy 脚本作为聚合层的主要开发语言，同时兼容 Java 又具有脚本易于变更特性。第 4 层：后台基础服务层，提供支持 Netflix 业务的核心领域服务（Playback, Member, Review ,Payment etc），在 Netflix 体系中，该层也称为中间层服务 (Middle Tier Service)。第 5 层：数据访问层，提供对 Cassandra NoSql 数据存储（Netflix 的主要数据持久化方式），后台服务 (Memcached, Zookeeper, S3, SQS 等) 和大数据等的访问和工具支持。另外：第 3 和第 4 层统称为 Netflix 的微服务，总体实现 Netflix 业务能力输出。所有微服务内部通过服务注册表 Eureka 做自注册和自发现，也就是说 Netflix 内部服务调用都是通过客户端软负载直连方式。网关 Zuul 也通过 Eureka 发现内部服务，将外部请求反向路由到内部服务，具体见后面的图 [7]。所有微服务依赖纵向的平台支撑服务（平台运行时服务，框架和库，监控和可靠性服务），以及第 5 层的后台服务和大数据服务等。所有服务之间的调用