放置层次树节点-清华大学.DOCVIP

利用层次模型实现P2P网络的全文检索* 周晋 李衍达 （清华大学 自动化系，北京 100084） 摘 要：本文的研究对象是P2P搜索问题。已有本文层次树的节点分置 ZHOU Jin, LI Yanda (Department of Automation, Tsinghua University, Beijing 100084, China) Abstract: Ideal content-based routing algorithm should not only provide IR algorithms’ effectiveness, but guarantee routing’s scalability. However, former works did not really achieve both aims. In this paper, we present a novel method named Distributed Hierarchical Clustering to address it. Firstly, files in vector-format are placed to appropriate position in Hierarchical Clustering Tree (HC-Tree). In physical network, HC-Tree nodes may be placed on different servents, and clustering is established by servents communicating. Working in a top-down fashion, a query will be sent from root to relevant sub-nodes. When it reaches leaf nodes which are responsible for files, routing is terminated. The physical addresses of those relevant files will be returned to original node. Results from theoretical analysis and simulations show that, under preservation of a stable recall, DHC is incrementally scalable, with lookup costs scaling logarithmically with the number of servents. In conclusion, DHC is an efficient p2p routing algorithm. Key words: peer-to-peer routing, scalability, distributed, hierarchical clustering, content-based 1简介 近来，Peer-to-peer系统（简称P2P系统）在文件共享和信息搜索等方面得到了越来越多的应用，Morpheus[1]的系统报告指出：截止2001年10月26日，用户数量超过470,000位，共享文件总量约360TeraBytes。P2P系统是由一组地位相等的节点构成，节点间可以直接通讯，无需第三方参与。与C/S结构相比，P2P结构可容纳大规模数量的节点，此外，它还具有网络负载平衡、实时性搜索、容错性强等特点。 P2P搜索是决定系统性能的首要因素，主要包括两种方式：集中式搜索和分布式搜索，分别对应集中式索引和分布式索引。相比集中式，分布式搜索具有实时搜索、分布处理和平衡网络负载等优势，虽然目前存在搜索时间长、通讯量大等弊端，但能够利用网络整体资源的固有特点仍使它成为了极具潜力的研究问题之一。 分布式算法需要满足的一个关键条件是：保证搜索的可扩展性(Scalability)。可扩展性算法应具备的基本条件有（设N为系统节点总数）： 时间复杂度与N保持非指数关系。搜索时间应一直保持在可接受范围内，分布式算法的搜索时间与搜索深度成正比； 搜索质量不能明显降低； 节点索引的存储容量应避免超过用户限定范围。 目前被广泛使用的两个系统Gnutella[2]、Freenet[3]分别采用了宽度优先(BFS)和深度优先(DFS)搜索方式，两种搜索算法虽然鲁棒性强，但运行效率很低，前者的扩散搜索导致消息呈指数规模增加，后者的回溯搜索导致等待时间过长。Tapestry[4] 、Pastry[5]、CAN[6]和Chord[7]通过严格控制网络拓扑和文件存放位置，