Bloom滤波器理论及其网络应用.pdf

Bloom滤波器理论及其网络应用 张瑞 南京邮电学院通信工程系2002级研究生，江苏南京210003 摘要：Bloom滤波器是一种随机化的数据结构，能够高效利用存储空问来表示集合，并且实现快速检索，但是具有一定 的误检概率。Bloom滤波器理论已经应用于多种网络技术中，如快速IP路由查找算法，分布式Web缓存等等。 关键词：Bloom滤波器；数据结构；网络应用 1．引言 的标记位来表示数据库中所存储的信息，查找时根据标记位的信息可迅速判断出所需检索的信息是否在数据 库中，具有简单，快速，节约存储空间等优点。这些优点是以引入一定的正向误检概率为代价的。Bloom滤 波器最早是为了进行拼写错误查找，近年来，人们开始发现它有着广泛的应用前景，尤其是网络应用方面。 实际上当某种应用形式满足下述Bloom滤波器使用准则时【2】，都可以采用这一数据结构。 器方式存储数据。使用Bloom滤波器时要注意到正向误检的潜在影响。 I ． 2．Boom滤波器理论 2．1．基本．Bloom滤波器 ml的数值，映射到特征矢量中的k个比特位。若该位为0，则将其置1；若该位已被之前的元素置l，保持 不变。查询时，同样将元素通过k个Hash函数进行计算，找到比特矢量中的k个位置。若是七位全部为l， 则该元素很可能是集合A中的元素，但是存在着一定的误检概率；而当至少有1个比特位为0时，a一定不 是集合中的元素。Bloom滤波器的这个特点，也称为芷向误检(FalsePositive)。如图1所示。 口 口 团 图1．a两个元素映射到集合中 图1．b发生正向误检 Hash函数的数日k，以及集合A的大小，l。 Bloom滤波器的正向误检概率取决于其特征矢量的大小m， 经推导可得，误检概率，满足以下关系【2】： ，：(1一(1一土)力七)忌。(1一exp(-nk))七 ，托 m 当七=rain2时，Bloom滤波器的正向误检概率最小，为 ，=(≯ FiIter) BIoom 2．2．计数器BIoom滤波器(Oounting 基本Bloom滤波器在删除元素时，可能会因为不同元素映射到相同比特位而出现冲突，为解决这一问 题，在Bloom滤波器中进一步引入一组计数器。在赋值时，不仅需将比特位置l，还要将该比特位对应的计 数器加1。若要删除元素，则将相应k个比特位的所有计数器减1，之后若某个计数器中的值变为0，则该比 特位清0。 217 江苏省通信学会论文集 BIoom fiIter) 2．3．压缩Bloom滤波器(Compressed 当某个服务器将Bloom滤波器传送至网络中的其他服务器时，传送的比特矢量大小决定了需要占用的 够好的Hash函数且调整其数目k以获得最小误检概率，那么特征矢量中每个比特位为0的概率均为l／2，不 器压缩，以适合所需的传送尺寸。这个方法实际上是使用更大、更分散的Bloom滤波器，以便在特征矢量 被压缩为较小的传送尺寸后使得误检概率更优化。 3．Bl oom滤波器理论在网络方面的应用 ’ 目前，Bloom滤波器在网络相关领域的应用有【21： 一 层叠网络或对等层网络闻的合作：Bloom滤波器可进行内容摘要以协助层叠网络或对等层网络间的