本文研究工作是国家重点基础研究发展.PDFVIP

摘 要 本文研究工作是国家重点基础研究发展规划项目 “网络环境下海 量信息组织与处理的理论与方法研究”的一部分；研究对象是 Web 这 样的动态海量信息载体；研究的主要目标是要得到一种高性能、高可 靠，支持海量网页信息搜集、分析与处理的系统结构。主要贡献包括 以下几个方面： 1) 基于对网页性质及其分布的认识，设计和实现了一种可扩展海 量 Web 信息搜集系统体系结构。结合 Web 信息搜集的基本要求和基 于 PC 机群的并行分布处理技术，该系统结构力图在搜集策略、可扩 展性、减少通信、负载平衡、任务调度、并行粒度控制等方面得到一 个很好的折衷。在仔细的理论分析和大量模拟实验的基础上，目前这 种体系结构已经成功地实现并投入运行，在系统规模从 1 到 18 台机器 变化的范围表现出很好的可扩展性，达到了 15 天搜集 5700 万网页的 性能指标。 2) 针对并行网页搜集系统的节点可能出现临时故障的问题，提出 了一种系统动态可配置方案。该方案的基础是一种从网页 URL 到搜集 节点的两阶段映射关系，它保证了当配置 （节点数）变化时系统能经 过一个短暂、安全的过渡过程达到一个新的稳态，从而保证了系统的 动态可配置性。目前这种方案已经实现，并成功应用于 “天网”搜索 引擎和 “燕穹”Web 信息博物馆的存储系统中。 3) 基于 “燕穹”Web 信息博物馆中的网页信息，探讨了海量 Web 信息应用的内容和方法。通过分析几千万网页的链接结构，给出了对 2002 年初中国 Web 的大小、形状和结构的一种定量认识，同时说明了 如何从海量网页信息中高效地识别网络社区的一种方法。 关键词：万维网，搜索引擎，可扩展 Web 信息搜集，Web 信息博物 馆，动态可配置性，负载平衡，Web 挖掘 i Abstract We study Web as a massive information resource with rapidly evolving nature. In particular, we will describe in this thesis a high performance architecture and reliable mechanism for gathering, analyzing, and processing vast amount of web pages. The main contributions include: 1) Based on an understanding of web page s and their distribution, a scalable architecture for gathering web pages is proposed, and a thorough study of the architecture is provided. Combining cluster -based parallel processing technology with the demanding requirement of crawling through vast amount web information, this architecture demonstrates a reasonable trade- off in crawling strategy, communication reduction, load balancing, task scheduling, and gra