SLB高性能及高可用技术实践全解析.docxVIP

SLB高性能与高可用技术实践全解析本文章来自于阿里云云栖社区摘要：?云栖社区2017在线技术峰会上，阿里云刺背分享了双十一以及红包期间SLB关于高性能、高可用性方面做的一些技术改进。他详细介绍了软件负载均衡SLB及其部署，从系统架构方面介绍了高性能的负载均衡技术，从后端服务器、可用区内、可用区间三个方面介绍了高可用的负载均衡技术。从支付宝官方公布的数据来看，在除夕当天大约有2亿人参加红包活动。今年的SLB和往年是不一样的，SLB进行了平台重构，为业务提供了跨可用区的方案。以下内容根据直播视频整理而成。直播回顾：点击进入（原文链接：/edu/lesson/play/615?spm=5176.100239.blogcont71183.17.ccEPvZ）pdf下载：点击进入全集团的流量入口SLB成了公有云、云产品服务、电商平台、交易平台的流量入口。负载均衡简介负载均衡即分担负载、提供服务，具体的说是当访问请求进入到SLB后，SLB会做后端服务器的选择，通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。最大的好处是后端的服务器可以动态扩容。软件负载均衡整个集团的负载均衡都是基于软件实现的，SLB（sever load balancer）是基于开源的LVS（Linux Virtual Server）实现的。SLB的优点包括：自主、可控，由于是代码是开源的，代码是可以自主修改的，而新的功能也可以自主加入；可伸缩性，整个SLB是集群部署的，通过BGP发布VIP、local adress路由等，实现集群负载通过路由ecmp将流量引到不同的服务器上；高可靠性，SLB通过多个维度提供了高可用性的保障；易于部署，SLB跑在普通的X86服务器上。SLB整个软件SLB分为两部分：基于TCP的四层负载均衡和基于http/https的七层负载均衡。红包业务主要使用了四层负载均衡。SLB集群部署上图是以杭州Region为例的集群部署图。比如，在杭州选择了两个可用区（可用区A和可用区B，是不同的IDC机房）。四层负载均衡LVS和七层负载均衡Tengine都是集群化部署的。对于四层负载均衡，当访问流量从Internet进来之后首先会经过LVS集群，直接转发给后端的ECS。对于七层负载均衡，当访问流量从Internet进来之后首先会经过LVS集群，然后经过Tengine集群再转发给后端的ECS。七层负载均衡比四层负载均衡多了一次集群内的转发，虽然造成少量的性能开销, 但是给客户带来了一些feature和HTTPS卸载的支持。高性能的负载均衡新的SLB最大的不同是从内核转发模式改为用户态转发模式，从系统架构上解决性能问题；支持FULLNET的转发模式，摆脱部署时网络的限制；利用硬件特性，实现CPU完全并行化处理，性能大幅提升；利用NUMA 特性，给每个NUMA保存一份核心数据；利用CPU硬件指令Crc32使消耗降低8倍。从系统架构解决性能问题上图中，左边部分是整个系统的架构图。Control Plane为控制面，Data Plane为数据面，设计采用分离方式。控制面主要做两件事情：负责路由的发布，使用OSPF和BGP来发布VIP和local address路由；从控制系统中接收负载均衡的配置下发到数据面。数据面的每个CPU上都有一个数据转发的线程来处理数据，从业务网卡进来的数据包会直接被Data Plane的线程处理并发送出去。该系统架构实现了：数据面轻量。从内核处理改为用户态处理，减少了原架构内核处理的中断，此外将Data Plane的线程从NUMA中隔离出来专门用于转发保证了CPU不会被抢占。每个CPU是并发处理数据的，没有数据的交互，因此也没有锁。充分发挥硬件。核心数据表是CPU cache对齐的。采用hugepage技术，减少TLB的miss，提升性能。利用了NUMA的特性，因为路由表和ARP表在服务器上一般是两路CPU的，每个NUMA上有一份数据，当CPU访问路由表或者ARP表的时候，就会就近取本NUMA上的数据。充分利用了网卡的checksum offload等功能。优化流程和算法。把内核中的管理结构由链表全都换为hash结构，去掉了很多冗余的流程。SLB性能关键点当用户访问LVS后面服务器的时候，在LVS上做DNAT+SNAT，摆脱了传统DR模式和NAT模式对网络的依赖。通过实现FULLNET模式的转发，网络不再受限，机房可以很轻松部署在机房中，本机房服务器和跨机房服务器都可以作为后端服务器提供服务。另外一个性能优化最关键的点在于CPU的并行化。从图中可以看出，物理网卡NIC上有多个CPU，这里也是采用了FULLNET的转发模式。当用户的访问到达SLB之后，源IP是client，目