搜索引擎页面刷新策略研究综述.pdfVIP

计算机系统应用 2009年第7期 搜索引擎页面刷新策略研究综述① of ofSearch SurveyPage—RefreshingStrategies Engine 陈丽君(浙江大学计算机学院浙江杭州31 2000) 0027；浙江越秀外国语学院浙江绍兴31 林怀忠(浙江大学计算机学院浙江杭州310027) 摘要：根据判断信息来源的不同，对现有页面刷新策略进行了分类，系统地分析了它们各自的特点，指出了 各种策略各自存在的优点与不足。对未来的研究方向进行了展望，给出了若干值得研究的问题。 关键词： 搜索引擎网络爬虫页面刷新更新 Web页面的快速增长，使搜索引擎成为人们获取 信息的主要工具。搜索引擎依靠网络爬虫从Internet出由站点搜集更新元数据的刷新方法，即让Web服务 上采集页面，经处理后存于索引库中供用户查询。一 器周期性地扫描各个网页的更新时间，连同网页地址 一起导出到元数据文件，并将这些文件按一定规则组 方面，由于Web信息资源的动态独立更新(update)， 索引库中存储的内容随着时间不断“老化”，需要网络 织存放到服务器指定位置。搜索引擎根据实际需求读 爬虫重新采集，刷新(refresh)现有页面，提高索引库取元数据文件，判断网页的更新日期，仅刷新那些最 的时新性。另一方面，由于“无限”的页面数量和有 后更新时间大于最后刷新时间的页面，从而避免因下 限的带宽资源，网络爬虫难以及时刷新所有更新页面， 载未更新页面引起的带宽浪费。实现此方法只需对服 降低了搜索引擎的服务质量。为此，研究人员提出了 务器做简单扩充，而且可以通过服务器提供的参数填 各种搜索引擎页面刷新策略，优先刷新有更新的、重 充表单，达到访问动态页面的目的。但其最大的缺点 要的页西，保证索引库的“时新性”和“重要性”。 是需要能支持各种元数据格式的网络爬虫，这实际上 页面刷新策略研究的主要任务是：如何快速总结 很难做到。Xu等人【2】提出采用与用户(内容供应商)合 出网页更新规律，准确预测页面更新，及时刷新发生 作的方式，可以解决以上弊端。其基本思想是：根据 变化的页面，使索引库中的内容与各站点的实际内容 用户提供的更新信息，以网页访问次数为权重，以未 尽可能保持一致。从分析的数据来源看，主要有以下 能及时刷新有更新页面带来的负面影响计算优先值，． 几种思路：一是由站点提供页面更新信息：二是通过 根据该值高低确定刷新先后次序。 分析历史信息来预测页面的更新i三是通过采样样本 具体做法可分为以下三步： 页进行分析预测。本文先介绍这三种页面刷新策略的 1)确定用户类型。根据用户提供信息的不同分为 基本思想和主要步骤，再分析它们各自的特点与优缺 三类：未提供任何页面更新信息的普通用户(Normal 点，最后指出各种策略适用的场合，并展望了未来的 研究方向。 user)，与既提供页面历史更新信息又提供将来更新概 user)。 率(P(update))的超级用户(Super 1 基于站点信息的策略 2)计算优先值。以自最后一次刷新以来，访问到 刷新页面最有效、最简单的方法是直接从web站 过期页的次数与过期页持续时间的乘积计算。用t(LC