基于BloomFilter的超大规模网页去重策略研究.pdfVIP

总第１６２期　２００８年　第３期 基于ＢｌｏｏｍＦｉｌｔｅｒ的大规模网页去重策略研究 １ ２ ２ 丁振国　吴宝贵 　辛友强 １（西安电子科技大学网络教育学院　西安７１００７１） ２（西安电子科技大学经济管理学院　西安７１００７１） 【摘要】针对大规模信息采集，运用ＢｌｏｏｍＦｉｌｔｅｒ及其改进算法，在误差允许的条件下，通过ＵＲＬ散列运算可以有 效地对同源网页进行去重。实践证明，通过对其参数进行合理的调整，可以达到满意的结果。 【关键词】布隆过滤器　散列函数　ＵＲＬ　网页去重 【分类号】ＴＰ３９１．３ ＲｅｓｅａｒｃｈｏｆＬａｒｇｅ－ｓｃａｌｅＵＲＬＦｉｌｔｅｒＢａｓｅｄｏｎＢｌｏｏｍＦｉｌｔｅｒ １ ２ ２ ＤｉｎｇＺｈｅｎｇｕｏ　ＷｕＢａｏｇｕｉ　ＸｉｎＹｏｕｑｉａｎｇ １（ＣｏｌｌｅｇｅｏｆＮｅｔｗｏｒｋｉｎｇＥｄｕｃａｔｉｏｎ，ＸｉｄｉａｎＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００７１，Ｃｈｉｎａ）