面试准备_海量数据介绍.docx

 HYPERLINK /hackbuteer1/article/details/7622869 海量数据面试题整理(不一定对) 算法总结 Bloom filter? 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集?基本原理及要点：?对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这 个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。还有一个比较重要的问题，如 何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况 下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应 该=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。?注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。扩展：?Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。问题实例：给你A、B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？?根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。 现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。 Hashing? 适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存?基本原理及要点：?hash函数选择，针对字符串，整数，排列，具体相应的hash方法。?碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。? 哈希碰撞处理的方法： 第一种策略是open addressing，如果数组中当前位置已经被占用，他会为当前数据重新选择一个位置；第二种策略是separate chaining，在数组每一个位置安放一个链表。 Open addressing策略常用三种方法： a.Liner probing 这种方法简单的以当前位置为起点，线性搜索空闲位置。如果hash函数选择了第n个位置给当前数据，但是n位置已经被占用，该方法将会尝试n+1，n+2.........,知道找到一个空闲位置，如果到达数组末尾，则从数组头继续搜索。这个尝试不同位置的过程叫做probing。 b.Quadratic probing Quadratic probing的好处是可以降低clustering，因为probing的偏移是n^2，而不是1，不会使得数据很接近。但是如果很多数据同时被映射到同一个位置上，那么这种方法也是于事无补的。当有很多数据被映射到同一个位置时候，他将会尝试x+1，x+4，x+9...............这将使数据查找变得困难。 c.double hashing double hashing中，probing的偏移取决于key value自己。当key映射到位置x，而x已经被占用的时候，则用第二个hash函数对key进行处理得到y，尝试x+y，x+2y,x +3y..........直到找到一个可以插入的位置。选择第二个hash函数的目标是：hash函数值永远大于等于1，对于key的得到的hash结果和第一个hash函数不同。通常，第二个hash函数这么写： probe offset = c - key%c, c是一个小于数组大小的常数 Separate chaining策略 这种方法在数组的