基于文本相似度的网页消重策略.pdfVIP

第２８卷第１１期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．１１ ２０１１年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１１ 基于文本相似度的网页消重策略 刘 书 一 （江苏科技大学南徐学院　江苏镇江２１２０１３） 摘　要　　针对在网页检索结果中经常出现内容相同或相似的问题，提出了一种通过计算网页相似度的方法进行网页消重。该算法通过 提取网页特征串，特征串的提取在参考以往特征码提取的基础上，加入了文本结构特征的提取，通过比较特征串之间差异性的基础上得到 网页的相似度。经与相似方法比较，结果表明，该方法减少了时间复杂度，具有较高的查全率和查准率，适于大规模网页消重。 关键词　　网页消重　网页特征码　文本相似度　编辑距离 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ ＳＴＲＡＴＥＧＹＯＦＥＬＩＭＩＮＡＴＩＮＧＤＵＰＬＩＣＡＴＥＤＷＥＢＰＡＧＥＳＢＡＳＥＤＯＮＴＥＸＴＳＩＭＩＬＡＲＩＴＹ ＬｉｕＳｈｕｙｉ （ＣｏｌｌｅｇｅｏｆＮａｎｘｕ，ＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｊｉａｎｇ２１２０１３，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｓｏｆｉｄｅｎｔｉｃａｌｏｒｓｉｍｉｌａｒｃｏｎｔｅｎｔｓｆｒｅｑｕｅｎｔｌｙｏｃｃｕｒｉｎｗｅｂｐａｇｅｓｒｅｔｒｉｅｖａｌ，ａｍｅｔｈｏｄｏｆｅｌｉｍｉｎａｔｉｎｇ ｄｕｐｌｉｃａｔｅｄｗｅｂｐａｇｅｓｂｙｃａｌｃｕｌａｔｉｎｇｔｈｅｓｉｍｉｌａｒｉｔｙｏｆｔｈｅｗｅｂｐａｇｅｓｗａｓｐｕｔｆｏｒｗａｒｄ．Ｔｈｉｓａｌｇｏｒｉｔｈｍｕｓｅｓｔｈｅｅｘｔｒａｃｔｉｏｎｏｆｆｅａｔｕｒｅｓｔｒｉｎｇｏｆｔｈｅ ｗｅｂｐａｇｅｓ．Ｓｕｃｈｅｘｔｒａｃｔｉｏｎｏｆｆｅａｔｕｒｅｓｔｒｉｎｇｉｓｂａｓｅｄｏｎｐｒｅｖｉｏｕｓｆｅａｔｕｒｅｃｏｄｅｅｘｔｒａｃｔｉｏｎａｓｔｈｅｒｅｆｅｒｅｎｃｅａｎｄｉｓｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｅｘｔｒａｃｔｉｏｎ ｏｆｔｅｘｔｓｔｒｕｃｔｕｒａｌｆｅａｔｕｒｅｓ．Ｂｙｃｏｍｐａｒｉｎｇｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｔｈｅｆｅａｔｕｒｅｓｔｒｉｎｇｓｔｈｅｓｉｍｉｌａｒｉｔｉｅｓｏｆｗｅｂｐａｇｅｓａｒｅｄｅｒｉｖｅｄ．Ｔｈｅｒｅｓｕｌｔｏｆ ｃｏｍｐａｒｉｎｇｉｔｗｉｔｈｏｔｈｅｒｓｉｍｉｌａｒａｌｇｏｒｉｔｈｍｓｒｅｖｅａｌｓｔｈａｔｔｈｉｓｍｅｔｈｏｄｈａｓｈｉｇｈｅｒｒｅｃａｌｌａｎｄｐｒｅｃｉｓｉｏｎｒａｔｉｏａｎｄｒｅｄｕｃｅｓｔｈｅｔｉｍｅｃｏｍｐｌｅｘｉｔｙ，ａｎｄ ｉｓｓｕｉｔａｂｌｅｆｏｒｅｌｉｍｉｎａｔｉｎｇｌａｒｇｅｓｃａｌｅｄｕｐｌｉｃａｔｅｄｗｅｂｐａｇｅｓ． Ｋｅｙｗｏｒｄｓ　　Ｅｌｉｍｉｎａｔｉｏｎｏｆｄｕｐｌｉｃａｔｅｄｗｅｂｐａｇｅｓ　Ｗｅｂｐａｇｅｆｅａｔｕｒｅｃｏｄｅ　Ｔｅｘｔｓｉｍｉｌａｒｉｔｙ　Ｅｄｉｔｉｎｇｄｉｓｔａｎｃｅ 基础上建立索引，为搜索用户提供服务时不会出现大量重复网 ０　引　言 页，减轻用户的浏览负担，提高搜索效率。 １．２　重复网页的特点 全球互联网自上世纪９０年代进入商业运营及家庭使用以 １．２．１　网页内容重复率高　研究表明，网络上有３０％的 来发展迅速，经过十几年的发展，互联网已经成为人们获取信息 网页是完全重复或者近似重复。原因有多种，一种是由于上述 的重要媒介。根据中国互联网信息中心２００９年６月发布的统 网络信息的特点，导致网页转载非常容易，通过复制或抄袭达到