分布式搜索引擎的模型综述.docVIP

分布式搜索引擎的模型综述 　　摘 要 本文综述了分布式搜索引擎的模型、结构和查询方法，并讨论了搜索引擎的评价指标。从搜索引擎的离线处理和在线处理讨论了搜索引擎的基本模块，在线查询过程速度决定了搜索引擎性能的关键因素；从分布式搜索引擎的模型上划分，搜索引擎包含四个主要子系统：网页爬虫系统，索引构建系统、检索系统和日志分析系统；倒排索引结构是以词典（dictionary）和倒排文件（inverted file）组成，分为文档编号递增排序和词频（或影响力）得分递减排序。然后讨论了当前搜索引擎典型的三类查询处理策略，并比较各自适应的条件。最后，综述评价搜索引擎的两个重要指标： 查询效率和查询结果的质量，并列举定量评价公式。 中国论文网 /8/view-7212352.htm 　　关键词 分布式索引； 搜索引擎；倒排索引；查询处理 　　中图法分类号 TP393 文献标识码 A 　　Review on Distributed Search Engine Model 　　QIAN Libing， JI Zhenzhou 　　1（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China） 　　Abstract This paper reviews the model，structure and search method for distributed search engine， and then discusses the evaluation of search engines. From the offline processing and online processing， the basic modules of search engine are discussed. The essential factor of search engine performance is determined by the online search processing. Divided from the distributed search engine model， the search engine consists of four main subsystems： Web crawler system， building index system， retrieval system and log analyzing system. The inverted index is divided into document ids and term frequency（or influence） sequence， which is composed of the dictionary structure and inverted file. Then the paper discusses the typically three types strategies of query processing for the current search eninge， and compares their adaptiation conditions. Finally， the two improtant indicators of evaluation of search engines are reviewed and enumerated the quantitative evaluation formula， which are query efficiently and quality of results， respectively. 　　Key words Distributed Indexing； Search Engine；，Retrieval Index； Query Processing 　　0 引 言 　　随着互联网业务的快速发展，搜索已成为人们学习和生活中的必需工具。面对日益激增的网络数据和复杂的用户需求，强大的搜索能力将成为推动互联网发展的关键要素。 　　在工业界分布式引擎得到广泛应用，Google、Yahoo！、百度、阿里巴巴等巨大网络引擎公司，都在充分有效地利用分布式搜索架构，以实现分布式引擎的稳定、及拓展运营。 　　分布式搜索引擎的架构方面，文献[1]指出实现分散化、可扩展和高效的分布式搜索引擎的可行性。文献[2]提出任务并行和数据并行的两种模式架构，能够提高系统吞吐量，实现计算、存储与通信资源的有效利用。文献[3]提出了分布式搜索引擎的成本模型，并指出