基于广度优先搜索的网络蜘蛛设计.pdfVIP

第9卷摇第7期 软件 导 刊 Vol.9 No.7 2010年7 月 SoftwareGuide Jul. 2010 基于广度优先搜索的网络蜘蛛设计 郑 泳 渊荆州职业技术学院 信息技术系袁湖北荆州434100冤 摘 要院网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一袁如何使搜索引擎快速准确地从庞大的网页 数据中获取所需资源的需求是目前所面临的重要问题遥 重点阐述了搜索引擎的WebSpider(网络蜘蛛)的搜索策略和 搜索优化措施袁提出了一种简单的基于广度优先算法的网络蜘蛛设计方案袁并分析了设计过程中的优化措施遥 关键词院搜索引擎曰网络蜘蛛曰搜索策略 中图分类号院TP311.52 文献标识码院A 文章编号院1672-7800渊2010冤园7原园员圆圆原园圆 对一些不太重要的网站袁设置了访问的层数遥 这也让有些网站 园 引言 上一部分网页能够在搜索引擎上搜索到袁另外一部分不能被搜 索到遥 对于网站设计者来说袁扁平化的网站结构设计有助于搜 近年来袁随着Internet技术的广泛应用袁传统的通用搜索引 索引擎抓取其更多的网页遥 擎袁如Google尧Fast尧AltaVista和GoTo等正面临巨大的挑战遥 挑 网络蜘蛛在访问网站网页的时候袁经常会遇到加密数据和 战之一是Web信息资源呈指数级增长袁搜索引擎无法索引所有 网页权限的问题袁有些网页是需要会员权限才能访问遥当然袁网 页面遥 据统计袁目前Web上静态页面的数量超过40亿个袁而且 站的所有者可以通过协议让网络蜘蛛不去抓取袁但对于一些出 这一数量还在以平均每天730万个页面的速度递增遥 在过去的 售报告的网站袁他们希望搜索引擎能搜索到他们的报告袁但又 几年中袁尽管各种通用搜索引擎在索引技 术尧索引数量上有所 不能完全免费地让搜索者查看袁这样就需要给网络蜘蛛提供相 提高袁但远远无法跟上Web本身的增长速度袁即使是目前全球 应的用户名和密码遥网络蜘蛛可以通过所给的权限对这些网页 最大的搜索引擎Google袁 其索引的页面数量仅占Web总量的 进行网页抓取袁从而提供搜索遥 而当搜索者点击查看该网页的 40%曰挑战之二是Web信息资源的动态变化袁搜索引擎无法保 时候袁同样需要搜索者提供相应的权限验证遥 证对信息的及时更新遥 近年来的研究表明袁Web上的页面平均 根据抓取过程袁网络蜘蛛主要分为猿个功能模块袁一个是网 50天就有约50%的页面发生变化袁而目前通用搜索引擎更新的 页读取模块主要是用来读取远程Web服务器上的网页内容曰另 时间至少需要数星期之久曰 挑战之三是传统的搜索引擎提供的 一个是超链分析模块袁这个模块主要是分析网页中的超链接袁将 信息检索服务袁不能满足人们日益增长的对个性化服务的需要