20160303-张瑞-重复删除技术.pptxVIP

2015级 张瑞;●大数据定义： 体量特别大，堪称是海量的，巨大的，同时数据类别特别丰富的一种数据集。;●大数据之大，数量之多，必然存在数据冗余，也就少不了数据精简存储即删冗。;Review of Juang-Chen-Liaws scheme; ;●相似数据检测和编码技术 相似数据检测技术： 基于shingle的检测技术 基于bloom filter的检测技术 基于模式匹配的检测技术 相似数据编码技术： 基于diff的delta编码技术：仅适用于文本文件的差异查找编 码。 基于bdiff的delta编码技术 基于vdelta的delta编码技术 ;基于bloom filter的检测技术 算法过程：首先创建一个m位的BitSet，先将所有位初始化为零，然后选择k个不同的哈希函数，第i个哈希函数对字符串str哈希的结果记为h（i，str），h（i，str）在0到m-1。 （1）加入字符串过程 对于字符串str，分别计算h（1，str），h（2，str）…… h（k，str）。然后将BitSet的第h（1，str）、h（2，str）…… h（k，str）位设为1。 （2）检查字符串是否存在的过程 对于字符串str，分别计算h（1，str），h（2，str）…… h（k，str）。然后检查BitSet的第h（1，str）、h（2，str）…… h（k，str）位是否为1，若其中任何一位不为1则可以判定str一定没有被记录过。若全部位都是1，则“认为”字符串str存在。 　 若一个字符串对应的Bit不全为1，则可以肯定该字符串一定没有被Bloom Filter记录过。但是若一个字符串对应的Bit全为1，实际上是不能100%的肯定该字符串被Bloom Filter记录过的。; ; ;Thank you ! The end