海量文档高速检索系统设计与实现.doc

XXX 硕士研究生学位论文 题　　目：海量文档高速检索系统的设计与实现 姓　　名： 学　　号：　　　　　　　 系　　别：　信息科学技术学院　　 专　　业：　计算机软件与理论　　 研究方向：　网络与分布式系统　　 导　　师：　　　教授　　　 二零零五年六月  版权声明 任何收存和保管论文各种版本的单位和个人，未经本论文作者授权，不得将本论文转借他人，亦不得随意复印、抄录、拍照或以任何方式传播。否则，引起有碍作者著作权益之问题，将可能承担法律责任。  摘要 搜索引擎的检索效率是评价搜索引擎质量的一个重要指标，面对互联网上信息量的不断增加以及搜索引擎网页库的不断增大，对检索系统性能要求也越来越高。本文详细介绍了一个搜索引擎检索系统的设计与实现，针对搜索引擎检索系统的性能问题进行了研究，讨论了影响检索性能的几个因素，并分别提出改进的方法和途径。这些方法包括设计出结构更加良好的倒排文件结构，改进整数压缩编码，引入倒排文件cache，预先计算关键词与文档相关度，减少关键词相对位置计算开销，改进站点聚类算法等。 另外，论文还阐述了系统中使用的新的相关度计算方法，这个算法使得在最终的结果排序上比原有系统有了一些改进。论文的组织形式以实际系统中各模块为主线，这些模块包括倒排文件结构，底层数据接口，查询，计分和站点聚类等。在论文最后给出了系统的综合测试结果，指出系统中还存在的不足，并对后续工作提出了一些建议。 关键词：搜索引擎，检索系统，倒排文件，检索效率，相关度计算  The Design and Implementation of a High Performance Retrieval System Abstract The performance of retrieving is crucial for modern search engine. This article introduces the design and implementation of a retrieval system for web search engine. Especially, we will discuss the factors that affect retrieval performance, and give the solutions for each of them, such as designing a new format for inverted file and a new encoding algorithm for integers, introducing cache for the index, pre-computing the similarity of terms and documents, and designing a better site grouping algorithm. A new ranking algorithm used in the system will be discussed too. The article is organized by modules, including inverted file, data interface, query, scoring and site grouping. In the last chapter we will make an overall evolution, and some advices for its further improvement will be given. Keywords: search engine, retrieval system, inverted file, performance, ranking. 目录 第1章 绪论 1 1.1 搜索引擎原理 1 1.2 倒排文件 2 1.3 检索系统分布式结构 4 1.4 现有系统的不足与本文的主要贡献 5 第2章 倒排文件设计 6 2.1 基本原则 6 2.2 整数压缩编码方法 7 2.3 系统使用的倒排文件结构定义 8 2.3.1 描述文件 8 2.3.2 索引文件 10 2.3.3 记录文件 10 第3章 底层数据组织 13 3.1 影响检索效率的主要因素 13 3.2 创建索引 15 3.3 获得文档列表 18 3.3.1 接口与数据组织 18 3.3.2 性能测试 20 3.4 获得位置列表 23 3.5 模块的一些不足 26 第4章 查询过程 27 4.1 文档列表求交 27 4.2 相关度计算 28 4.2.1 关键词与文档相关度 28 4.2.2 相对位置得分 30 4.3 站点聚类 31 4