基于solr的分布式搜索引擎研究-软件工程专业论文.docxVIP

摘 要 随着中小型企业的迅猛发展以及电脑信息化的大量普及，快速发展的企业信息 量呈指数增长。企业用户想要在庞大的海量信息库中找到自己需要的准确信息，就 如同在大海中捞针不太现实。而解决这一难题的可用方法就是搜索引擎技术，利用 它可以为用户提供比较简单的信息检索服务。为了能够更好的处理企业海量数据及 搜索的准确性，在搜索引擎系统中引入了分布式计算和 Solr 全文检索技术。 主要针对海量数据的处理及高并发请求的处理来构架分布式的搜索引擎。提出 分布式搜索引擎的主要研究工作在于对传统的搜索引擎进行分布式计算。应对海量 数据的处理主要采用分布式建立索引及分布式搜索的策略。并采用分布式文件系统 进行存储索引文件。然后对系统的整体流程框架进行深入探讨，得到能够有效应对 海量数据处理的结构及流程。在应对处理高并发请求方面，给出软硬负载均衡及优 化每个分布式节点的策略。通过负载均衡策略和对每个分布式有效节点进行优化处 理，使其性能达到能够快速处理高并发的请求的水平。并且针对 Solr 索引处理机制 采用主从式复制集群部署，使其更好的适应海量数据及并发请求的处理。 最后，在实验室的环境下构建了一个有两个有效节点的小型分布式搜索引擎系 统，其中每个有效节点是集群部署的两台计算机。对其建立海量索引，并且通过对 引擎的压力测试，得到实验数据结果。通过分析理解实验数据结果，验证了系统架 构的可靠性、扩展性和稳定性。 关键词：分布式计算 海量信息 高并发 Solr 搜索引擎  Abstract With the rapid development of small and medium-sized enterprises, as well as the increasing popularity of computer information technology, the rapid development of enterprise’s amount of information has grown exponentially. Business users want accurate information they need to find a huge mass of information the library, it is not realistic as fishing for a needle in the ocean. The search engine technology is an effective way to solve this problem, which allows you to provide users with a relatively simple information retrieval service. In the search engine system in order to be able to better deal with huge amounts of data and search accuracy, use of distributed computing and the Solr full text retrieval technology. The search engine user distributed processing architecture for massive data processing and high concurrent requests. Proposed a distributed search engine, the main research work is distributed computing on traditional search engines. Massive data processing should be distributed indexing and distributed search strategy. And distributed file system to store the index file. And then conduct in-depth discussion on the overall process framework to effectively deal with massive data processing, structure and processes. In response to the treatment of high concurrent requests, given the software and hardware load balancing a