一种支持动态可配置高效组通信系统设计与实现.doc

摘要 快速有效地搜集WWW上的网页，使搜索引擎索引更多的网页，是其提供高质量服务的基础。采用分布式搜集策略可以很好完成这一任务。但由于网上信息分布的不规律性和广域性。要应用可靠的组播通讯（Reliable Multicast）技术来实现搜集系统的负载平衡和动态调度性，即运行过程中添加和删除主控于分布式的Web搜集系统中。 本文基于“天网”搜索引擎系统1.2版构建了一个可靠的组播通讯系统平台。它借鉴了Cornell大学的ISIS系统，实现了分布式Web搜集系统的组视图维护和可靠的组播通讯。本文论述的系统结构和方法，将用于“天网”2.0版的开发，达到提高系统能力，改善系统的可扩展性的目的。 关键词 可靠的组播传送、组视图、分布式、动态可配置、搜索引擎、万维网  引言 背景简介 1.1.1 WWW简介 万维网(Work Wide Web)，简称WWW，是一种特殊的结构框架，它的目的是为了访问遍布在因特网上数以万计的机器上的链接文件。在短短的五年之内，它从一种发布高能物理数据的方式演变为如今数百万人脑中的“因特网”。它之所以如此流行是由于它有一个丰富多彩的界面，初学者很容易使用，并且还提供了大量的信息资源，几乎涉及人们所能想象的所有主题，如从土著人到动物学。 WWW是1989瑞士日内瓦欧洲粒子物理实验室CERN(European Center for Nuclear Research)最先开发的一个分布式超媒体信息查询系统。WWW是在CERN的Tim Berners-Lee于1989年3月倡导下开发出来的， Tim Berners-Lee是牛津大学的毕业生，从事过文字处理及实时通信方面的研究。他开发WWW的动机是建立一个信息系统，在此系统中许多科学家可以相互合作，交流信息。Tim Berners-Lee采用超文本(hypertext)技术将许多信息资源连接成一个信息网，信息网由结点和超链接组成。WWW的结构不同于文件系统的线性结构，WWW中的结点的连接关系是相互交叉的，一个结点可以以各种方式与另外的结点相连接。超文本的优点是用户可以通过传递一个超链接得到与当前结点相关的其它结点的信息。超媒体是一个与超文本类似的概念，在超媒体中，超链接的两端可以是文本结点，也可以是图像，语音等各种媒体的数据。18个月后运行。1991年12月在德克萨斯州的San Antonio 91超文本会议上进行了一次演示，并于1993年2月，随着第一个图形界面Mosaic的发布而达到了其发展的高峰。 在1993年下半年，WWW在不到三个月的时间里翻了一翻。在1995年4月，WWW在网上的流量超过了其它Internet上其它服务的流量，成为Internet上的第一大应用服务。到1997年12月，根据NEC研究院在《科学》杂志上发布的数据，网上大约有3亿2000万网页。 在最近两年里，WWW又得到了长足的发展，不仅成为企业必不可少的组成部分，并且开始走进千家万户。根据NEC研究院截止到2000年2月，Internet其中公开提供WWW服务的有效网站4,217,324个；共有不重复WWW网页超过10亿。 搜索引擎简介 WWW的发展给人们带来了巨大的方便，使得人们可以跨越时间和空间的界限来共享大量的信息。但是，面对如此大量的信息，我们同时也开始感到无所适从。太多的信息使我们很难迅速定位到我们真正需要的部分；由于WWW的信息来源于它的用户，没有统一的组织和规划，仅靠超链(Hyperlink)茫无目的地漫游则会浪费大量的时间，而且很可能徒劳无功。因此，人们迫切需要有效的信息发现工具来为他们在WWW上进行导航。 目前，一个有效的途径是建立搜索引擎。搜索引擎系统通过程序自动地从网上搜集和分析网页，建立索引，为用户服务。这类系统的优点是涵盖的网页数量巨大，但搜索的准确率相对比较低，其典型代表是Google。 搜索引擎出现于1994年，在短短的7年时间里，经历了天翻覆地的变化。1994年，World Wide Web Worm (Web)，作为最早出现的搜索引擎之一，可以索引110,000网页。1994年3月、4月，WWW平均每天收到1500个查询。1997年12月，当时的顶级搜索引擎WebCrawler声称可以索引1亿网页，AltaVista声称每天可以收到2千万条查询。进入2000年搜索引擎开始以尝试索引“整个Web”为标志。几个主流的搜索引擎，如Google ,Inktomi, FAST,，都不断扩展自己的搜集能力，企图将整个Web上的数据都搜集到，建立索引并为用户提供服务。2000年12月，Google搜索引擎可以索引1,326,920,000网页，Inktomi存储超过10亿的网页，每天可以收到亿万计的查询。 随着搜索引擎的发展，逐渐出现了自动分类技术代替人