Azero一个大规模动态负载均衡图处理系统.docxVIP

Azero: 一个大规模动态负载均衡图处理系统 hsa@net.pku.edu.cn 目录 问题提出 图处理系统性能制约因素 现有系统存在问题 主要贡献 空间向量划分算法 利用SVPA进行动态负载均衡 Azero系统架构、API及实现 待完成工作 2 问题背景 大规模图处理 计算模型 BSP vs Mapreduce 图的切分与存储 3 现有图处理系统 Pregel (SIGMOD 2010) Giraph (Hadoop Submit 2011) Mizan (EuroSys 2013) … 4 性能制约因素 Worker间网络通信 Cross-edge，图切分算法 Worker的负载不均衡 瓶颈节点 算法行为 图结构 底层平台 需要动态负载均衡 5 现有系统存在问题 系统性能受瓶颈Worker制约 图的切分未考虑图顶点的连接关系 大量Cross-edge的产生 负载均衡过程未保持图顶点连接的局部性 负载均衡算法开销大 计算复杂度和网络开销 顶点迁移时大量的数据传输 6 Motivation 寻找一个新的图处理负载均衡解决方案 负载均衡同时保持图顶点连接局部性 简单、高效 7 主要贡献 SVPA图切分算法 利用SVPA进行动态负载均衡的框架 简单高效 负载均衡同时保持图的局部性 顶点低成本迁移、Superstep内负载均衡 新的大规模图处理系统Azero 计算框架，API 分布式索引，缓存策略等 8 SVPA算法 part2 9 图的切分 Worker集合W={w1, w2, …}，|W|=N 图G=V, E，v的后继元集+(v) 切分方案Ptt: VW wi上顶点集合PPI(i)=Ptt-1[{wi}] 跨边集CE={v1, v2|v1, v2EPtt(v1)Ptt(v2)} 切分均匀性：max({card(PPI(i))})低 切分局部性：card(CE)小 10 空间向量划分算法SVPA 11 CN(v) w1 w2 12 CN(v) 13 w1 w2 w3 预切分方案Proposed Partition 新图的PPI= 利用预切分方案计算CN METIS 预切分方案和CN计算的分布式化 网络开销(|E|/N) 14 划分向量p 15 SVPA 16 SVPA w1 w2 划分向量p 17 切分效果 18 利用SVPA进行动态负载均衡 part3 19 负载均衡方案 六步负载均衡方案 （Superstep结束） Master收集Worker信息得到负载向量L Master计算新的划分向量new_p=LBF(old_p, L) Master将new_p发送给所有索引节点 索引节点计算新的切分方案SVPnew_p 索引节点计算顶点迁移方案M 节点迁移 （下一个Superstep开始） 20 负载均衡方案 21 负载向量L L = (load_w1, load_w2, …, load_wN) load衡量指标 worker运行总时间 网络通信量 … 22 负载均衡函数LBF new_p = LBF(old_p, L) 将Worker分为两类：Over-load和Under-load 改变划分向量，使前者的顶点向后者迁移 使得新Superstep中各Worker负载近似相等 基于以下假设 Worker中各顶点产生的负载近似相等 顶点在相邻Superstep产生的负载近似相等 23 LBF两个版本 LBF_O 基于Over-load 针对性处理瓶颈Worker LBF_U 基于Under-load 可用于Superstep内实时负载均衡* 24 伪代码 LBF_O(old_p, L) average_load  AverageValueOfArrayElements(L) delta_p  0 delta_l  0 for i  1 to N do L[i]  L[i] - average_load for i  1 to N do if L[i] 0 then new_p[i]  old_p[i]*average_load/(average_load+L[i]) delta_p  delta_p + old_p[i] – new_p[i] delta_l  delta_l + L[i] if delta_l 0 then delta  -delta_p / delta_l for i  1 to N do if L[i] 0 then new_p[i]  old_p[i] + delta * L[i] return new_p 25 迁移方案M 26 性能分析 顶点索引的空间复杂度(|V|*N) 比正常索引(|V|)大