Ring实现原理剖析.pptx

Ring实现原理剖析;简介;普通Hash算法与场景分析;node_id = hsh % NODE_COUNT node_counts[node_id] += 1 desired_count = DATA_ID_COUNT / NODE_COUNT print %d: Desired data ids per node % desired_count max_count = max(node_counts) over = 100.0 * (max_count - desired_count) / desired_count print %d: Most data ids on one node, %.02f%% over % \ (max_count, over) min_count = min(node_counts) under = 100.0 * (desired_count - min_count) / desired_count print %d: Least data ids on one node, %.02f%% under % \ (min_count, under) 100000: Desired data ids per node 100695: Most data ids on one node, 0.69% over 99073: Least data ids on one node, 0.93% under 从数据分布上来看拥有最多/最少数据项的节点没有超出平均值的1%。;现在假设增加一个节点提供负载能力，不过得重新分配数据项到新的节点上 from hashlib import md5from struct import unpack_from??NODE_COUNT =?100NEW_NODE_COUNT =?101DATA_ID_COUNT =moved_ids =?0for?data_id in xrange(DATA_ID_COUNT):??? data_id = str(data_id)??? hsh = unpack_from(I, md5(str(data_id)).digest())[0]??? node_id = hsh % NODE_COUNT??? new_node_id = hsh % NEW_NODE_COUNT????if?node_id != new_node_id:??????? moved_ids +=?1percent_moved =?100.0?* moved_ids / DATA_ID_COUNTprint?%d ids moved, %.02f%%?% (moved_ids, percent_moved)9900989?ids moved,?99.01% 通过计算我们发现，为了提高集群1%的存储能力，我们需要移动9900989个数据项，也就是99.01%的数据项！显然，这种算法严重地影响了系统的性能和可扩展性。;一致性哈希算法; Swift使用该算法的主要目的是在改变集群的node数量时（增加/删除服务器），能够尽可能少地改变已存在key和node的映射关系，以满足单调性。但是性能依旧不是很理想。 考虑到哈希算法在node较少的情况下，改变node数会带来巨大的数据迁移。为了解决这种情况，一致性哈希引入了“虚拟节点”的概念： “虚拟节点”是实际节点在环形空间的复制品，一个实际节点对应了若干个“虚拟节点”，“虚拟节点”在哈希空间中以哈希值排列。 查询object所在node的映射关系如下图所示 ; 对100个node细分为1000个vnode，使用vnode_range_starts来指定vnode的开始范围，node_range_starts表示每个node的数据项的开始位置vnode2node表示vnode到node的指派，然后增加一个node，完成vnode的重新分配，并计算所移动的数据项： from bisect import bisect_leftfrom hashlib import md5from struct import unpack_fromNODE_COUNT =?100DATA_ID_COUNT =VNODE_COUNT =?1000vnode_range_starts = []vnode2node = []for?vnode_id in xrange(VNODE_COUNT):??? vnode_range_starts.append(DATA_ID_COUNT