近似镜像网页检测算法及评测.pdfVIP

中文摘要 近似镜像网页检测算法及其评测 I 中文摘要 摘 要 随着 Web 上网页数量的急剧增长，近似镜像（near －replicas ）网页的数量 也在不断增加。近似镜像网页的存在，严重影响了搜索引擎的检索结果。如果我 们能将搜集到的网页中的近似镜像网页去掉，可以提高搜集系统和索引系统效 率，用户查询时也不会出现大量内容重复的网页。去除镜像网页的算法即是近似 镜像网页检测算法。本文在大量实验和真实数据分析的基础上，得到了如下研究 成果和结论： 1) 提出了一种全文分块签名的多指纹近似镜像网页检测算法。该算法 利用网页的标签树结构选取文本块生成 MD5 指纹序列，先通过部分 MD5 的预消重处理，然后将预消重处理的结果网页对两两比较得到 算法的最终结果。设网页个数为 N ，每个网页的 MD5 序列长度为 m ， 2 2 O(mN ) O μm N 和 。 则算法的时间和空间复杂度分别是 ( ) 2) 设定了针对近似镜像网页检测算法的评测与比较方法。该方法延续 了传统的近似镜像网页检测算法的评测方法，并且重点分析了不同 近似镜像检测算法结果的差集，提出了相对精确比ρ的概念，并以 次作为算法优劣性的评判标准。 3) 本文在 1,000,000 网页的数据集内评测了全文分块签名的多指纹近似 将向网页检测算法的性能，并利用天网现用的近似镜像网页检测算 法作为基准程序，进行了优劣性的对比分析。 关键词：万维网、搜索引擎、近似镜像、MD5指纹 I Abstract Abstract There are numerous near-replicas web pages on the World Wide Web, how to efficiently and accurately find the near-replicas web pages has become an important topic in the search engine research area. If we can detect the near-replicas and remove it from the database, we could improve the quality of crawling system and searching service, and the users would be more satisfied. Based on a great deal of experiments and analysis of real data, this article received the following achievements and conclusion. 1) proposes a whole-text partition near-replicas detecting algorithm which uses multiply MD5 fingerprints. The algorithm first