基于MySQL和Lucene的反向索引系统的实时性能比较研究.docVIP

  基于 MySQL 和 Lucene 的反向索引系统的 实时性能比较研究 * 5 10  摘要：搜索引擎是当今互联网使用最频繁的应用之一。为用户提供及时的，甚至是实时的信 息索引是当今搜索引擎所要面对的首要挑战。倒排索引是搜索引擎的重要索引结构，其实现 的性能特点将直接关系到搜索引擎的使用场景与范围。最常用的开源搜索引擎工具包 Lucene，虽然在批量进行索引构建时具有不错的性能，但是当需要提供实时索引时却并不令 人满意。本文提出一个经过性能优化的基于 MySQL 的倒排索引的实现方案，使用 MD5 哈 希来优化对于关键词的查询、存储、检索。对比 Lucene 在内存实时模式的性能，本文中的 方案为着眼于实时搜索的搜索引擎提供了一种更加符合其场景的索引系统实现方案。 关键词：倒排索引；实时；性能；MySQL；Lucene 中图分类号：TP3 15 The Real-Time Performance Comparison of Inverse Index Between MySQL and Lucene LIU Yizhou, XU Peng (State Key Laboratory of Networking and Switching, Beijing University of Posts and 20 25 30 35 40 Telecommunications, Beijing 100876) Abstract: Search engine is one of the most popular applications in the Internet. To provide timely, and even real-time information to users is the main challenge it faces. Inverse index is critical to search engine, and performance characteristics of its implementation will be directly related to search engines scenario and scope. Lucene, the most commonly used open source search engine toolkit, performs well when building index in batch, but badly when need to provide real-time index building. This paper put forward a performance optimization of inverse index implementation based on MySQL, using MD5 hash to optimize keywords query, storage and retrieval. Contrast the performance of Lucene in memory and real-time model, this papers scheme is more suitable for real-time search engine index system. Key words: Inverse Index; Real-Time; Performance; MySQL; Lucene 0 引言 随着互联网 2.0 时代的到来，用户贡献的数据在网络上所占比重越加增大，而像是微博、 LBS 签到这样的用户数据，拥有相比较传统门户网站上新闻更强的实时信息量。对于搜索 引擎来说，可以实时的从以上的实时数据源获取数据，并呈现给用户将变得越加重要。众多 主流的搜索引擎，包括 Google，微软 Bing，百度，搜狗，网易有道等，也都将具有一定实 时性的新闻搜索的支持加入了各自支持的产品之中。但是各家对于时效性的支持一般处在小 时级的水平，也就是信息依旧要相比较信息源滞后若干小时。 搜索引擎是当今互联网使用最频繁的应用之一，为用户提供海量网络知识的索引能力， 如何提供更及时的，甚至是实时的信息索引是当今搜索引擎所要面对的重要问题之一。倒排 索引是搜索引擎的重要索引结构，其实现的性能特点将直接关系到搜索引擎的使用场景与范 -1-   围。最常用的开源搜索引擎工具包 Lucene，虽然在批量进行索引构建时具有不错的性能， 但是当需要提供实时索引时，其原理和性能并不令人满意。本文提出一个经过性能优化的基 于 MySQL 的倒排索引的实现方案，使用 MD5 哈希来优化对于关键词的查询、存储、检索