基于Hash算法实现搜索引擎中重复WEB页面的消除.pdfVIP

您的论文得到两院院士关注 软件时空 文章编号 3 :1008-0570(2006)09--0299-03 基于Hash算法实现搜索引擎中重复WEB页面 的消除 EliminatedDuplicateSearchWEBpageswithHashalgorithm 南京信息工程大学 杨海东 叶小岭 张颖超 ( ) Yang,HaidongYe,XiaolingZhang,Yingchao 摘要 搜索引擎已经成为互联网用户进入网络的一个重要入口 但 目前搜索引擎的结果还存在着许多有待改进的地方 本文 : 。 。 从搜索引擎返回结果中存在的重复页面入手 解决如何消除重复页面 并对其将来的发展进行了进一步探讨。 , , 关键词 网络蜘蛛 搜索引擎 散列函数 : ; ; ;WEB 中图分类号:TP394 文献标识码:A Abstract:AsanimportantenterancetoInternet,searchEnginehasalsoexistedsomeshortcomingingernal.Thisarticlediscussed howtoeliminateduplicatewebpageswithHashalgorithmanddescribeditsfuture. 技 Keywords:WEBCrawl,SearchEngine,HASH,WEB 序技术上,目前传统的排序算法如 、 等 术 1引言 PageRankHITS 算法都或多或少地存在一些缺陷 新的排序算法和主 已经成为一所巨大的信息资源宝库 但是 , 创 Internet 。 题相关性检索正在进入到搜索服务领域 由于现在搜 。 如何使用这个包含了一百多亿个WEB页面的宝库, 索引擎是免费提供给用户使用,要依靠提供广告服务 新 成为互联网用户面临的一个难题 搜索引擎的出现与 , 或竞价排名 以维持网站的正常运行 这样在结果页 , , 发展解决了这一问题 经过十几年的发展 搜索引擎 。 , 面中会出现相关的广告内容或者购买竞价排名企业 在收集页面的数量及质量都有了很大提高 已经成为 , 的网站。 众多互联网用户进入网络的一个重要入口 搜索引擎 。 上述 点 需要有新的技术出现 第一点可 ()、() , , 2 3 技术也成为最具活力和最有发展前途的技术之一 但