111 Java深入研究一致性Hash算法.docxVIP

Java深化争辩全都性Hash算法 架构师必备 2021-10-12 来源：/xrq730/p/5186728.html 全都性Hash算法 关于全都性Hash算法，在我之前的博文中已经有多次提到了，MemCache超具体解读一文中全都性Hash算法部分，对于为什么要使用全都性Hash算法、全都性Hash算法的算法原理做了具体的解读。 算法的具体原理这里再次贴上： 先构造一个长度为232的整数环（这个环被称为全都性Hash环），依据节点名称的Hash值（其分布为[0, 232-1]）将服务器节点放置在这个Hash环上，然后依据数据的Key值计算得到其Hash值（其分布也为[0, 232-1]），接着在Hash环上顺时针查找距离这个Key值的Hash值最近的服务器节点，完成Key到服务器的映射查找。 这种算法处理了一般余数Hash算法伸缩性差的问题，可以保证在上线、下线服务器的情况下尽量有多的恳求命中原来路由到的服务器。 当然，万事不行能十全十美，全都性Hash算法比一般的余数Hash算法更具有伸缩性，但是同时其算法实现也更为简单，本文就来争辩一下，如何利用Java代码实现全都性Hash算法。在开头之前，先对全都性Hash算法中的几个核心问题进行一些探究。 数据结构的选取 全都性Hash算法最先要考虑的一个问题是：构造出一个长度为232的整数环，依据节点名称的Hash值将服务器节点放置在这个Hash环上。 那么，整数环应当使用何种数据结构，才能使得运转时的时间简单度最低？首先说明一点，关于时间简单度，常见的时间简单度与时间效率的关系有如下的阅历规章： O(1) O(log2N) O(N) O(N * log2N) O(N2) O(N3) ? O(N!) 一般来说，前四个效率比较高，两头两个差强人意，最终一个后比较差（只需N比较大，这个算法就动不了了）。OK，连续前面的话题，应当如何选取数据结构，我认为有以下几种可行的处理方案。 1、处理方案一：排序+List 我想到的第一种思路是：算出全部待加入数据结构的节点名称的Hash值放入一个数组中，然后使用某种排序算法将其从小到大进行排序，最终将排序后的数据放入List中，接受List而不是数组是为了结点的扩展考虑。 之后，待路由的结点，只需要在List中找到第一个Hash值比它大的服务器节点就可以了，比如服务器节点的Hash值是[0,2,4,6,8,10]，带路由的结点是7，只需要找到第一个比7大的整数，也就是8，就是我们最终需要路由过去的服务器节点。 假如临时不考虑前面的排序，那么这种处理方案的时间简单度： 最好的情况是第一次就找到，时间简单度为O(1) 最坏的情况是最终一次才找到，时间简单度为O(N) 平均下来时间简单度为O(0.5N+0.5)，忽视首项系数和常数，时间简单度为O(N)。 但是假如考虑到之前的排序，我在网上找了张图，供应了各种排序算法的时间简单度： 看得出来，排序算法要么稳定但是时间简单度高、要么时间简单度低但不稳定，看起来最好的归并排序法的时间简单度仍旧有O(N * logN)，略微耗费功能了一些。 2、处理方案二：遍历+List 既然排序操作比较耗功能，那么能不能不排序？可以的，所以进一步的，有了其次种处理方案。 处理方案使用List不变，不过可以接受遍历的方式： 服务器节点不排序，其Hash值全部直接放入一个List中 带路由的节点，算出其Hash值，由于指明白顺时针，因而遍历List，比待路由的节点Hash值大的算出差值并记录，比待路由节点Hash值小的忽视 算出全部的差值之后，最小的那个，就是最终需要路由过去的节点 在这个算法中，看一下时间简单度： 最好情况是只要一个服务器节点的Hash值大于带路由结点的Hash值，其时间简单度是O(N)+O(1)=O(N+1)，忽视常数项，即O(N) 最坏情况是全部服务器节点的Hash值都大于带路由结点的Hash值，其时间简单度是O(N)+O(N)=O(2N)，忽视首项系数，即O(N) 所以，总的时间简单度就是O(N)。其实算法还能更改进一些：给一个位置变量X，假如新的差值比原差值小，X替换为新的位置，否则X不变。这样遍历就削减了一轮，不过经过改进后的算法时间简单度仍为O(N)。 总而言之，这个处理方案和处理方案一相比，总体来看，好像更好了一些。 3、处理方案三：二叉查找树 抛开List这种数据结构，另一种数据结构则是使用二叉查找树。对于树不是很清楚的伴侣可以简约看一下这篇文章树形结构。 当然我们不能简约地使用二叉查找树，由于可能消灭不平衡的情况。平衡二叉查找树有AVL树、红黑树等，这里使用红黑树，选用红黑树的缘由有两点： 红黑树次要的作用是用于存储有序的数据，这其实和第一种处理方案的思路又不谋而合了