CM–集群管理与负载均衡系统.pdf

CMCM‐‐集群管理与负载均衡系统集群管理与负载均衡系统 五竹, 搜索与算法 1 目录 1 背景介绍 22 性能与应用性能与应用 3 功能特性 4 整体架构 目录 1 背景介绍 背景介绍 1.Clustermap(CM)--集群管理与负载均衡系 统起源于淘宝商品搜索引擎. 2.主要解决如下问题:  如何知道服务节点(searcher) 是否可用  如何选取一行服务节点，并能保持各行之间的负载均衡  如何选取某如何选取某一列的列的一个个节点节点  不停服务的情况下，增减机器 BeforeBefore 背景介绍 1.伴随着淘宝搜索业务的发展，CM面临越来 越多的挑战：  集群集群间的集群状态管理与负载均衡的要求越来越多间的集群状态管理与负载均衡的要求越来越多 ，如如 SPSP 需要知道其下面的所有服务的拓扑和存活状态.  服务服务定位更复杂定位更复杂 ，同同一个物理集群个物理集群 ，可以做为多个不同的可以做为多个不同的 逻辑集群对外提供服务，并且其下的服务节点，在不同的 连辑集群中，状态可以不一样。如 etao HA3 集群。  服务的信息颗粒要求更小，如 UPS系统中，需要知道某张 表的分区，分布在那些节点上。  替换LB设备，网内集群间的流量越来越大(每天几十亿) ，LB 设备的成来也越来越大设备的成来也越来越大.. 背景介绍  性能更强大，支持更多的节点。HA3 原来采用 zookeeper 来 做做心跳跳 ，，集群到2000台左右时 ，，出现性性能瓶颈颈。  运维管理需求,根据 cpu_busy,latency,iowait 等来自动下线 offlineoffline 机器机器  除主动心跳外，还支持更多的服务有效性检查测试. 2. 2012年CM经过了一次重构，以便更好的 支持集群间的服务定位与发现的应用需求. Now 目录 22 性能与应用性能与应用 性能与应用—性能 测试说明 11. 测试环境测试环境：： linux 2.6.18‐164.el5 cpu: 16 core Intel(R) Xeon(R) CPU E5620 cpu MHz: 2400 memoryy: 32G 测试结果 1.1. 在无在无CMCM 级连的情况下级连的情况下,,单个单个CMServerCMServer 可以同时支持可以同时支持::  心跳汇报节点(汇报周期100ms) 10000个  4/7层健康检查节点(检查周期1s) 6000个  订阅节点((更新周期1s)) 4000个 瓶颈主要是千M网卡的带宽占满 性能与应用性能与应用—应用 性能与应用性能与应用—应用 1. 管管理搜索内部所有集群搜索内部所有集群，14个业务线个业务线,31个集群个集群 22. 统统一搜索内部搜索内部所有服务定位和集群状态管理所有服务定位和集群状态管理 3. 替换搜索内部LB负载均衡设备(近50 亿PV) 目录CONTENTS 2 功能特性 功能特性 心跳汇报 健康检查 同步ConfigServer 订 阅 负载均衡 PHP扩展 运维管理 监控报警 名词说明 ClClustter: 多多个节点组成的个节点组成的集合称为集合称为一个个