一种基于LCS的相似网页检测算法.docVIP

MACROBUTTON MTEditEquationSection2 SEQ MTEqn \r \h SEQ MTSec \r 1 \h SEQ MTChap \r 1 \h 一种基于LCS的相似网页检测算法 黄连恩, 王磊, 李晓明 报告编号 PKU_CS_NCIS_TR2007012 提交时间 200 北京大学 信息科学技术学院 网络与信息系统研究所，100871 北京大学 网络与分布式系统实验室， 100871 北京大学信息科学技术学院 ? 网络与信息系统研究所： PKU_CS_NCIS_TR2007012 PAGE 3 一种基于LCS的相似网页检测算法? ? 此项工作得到国家自然科学基金项目与国家863计划项目（2007AA01Z100）支持 黄连恩, 王磊, 李晓明 （北京大学 信息科学与技术学院， 100871） 摘要：网页的相似性检测长期以来是一个研究的热点，shingling和simhash被认为是当前最好的两个算法，然而它们存在着一定的不足：一方面，高的分数意味着高的相似概率，但并不必然意味着高的相似度；另一方面，哈希代码的长度和多样性之间的冲突决定了难以同时获得高的准确率和覆盖率。本文提出了一种新型的相似网页检测算法，同时具备高准确率与高覆盖率的优点。该算法采用基于LCS（longest common subse