参考基于lucene本地搜索程序概要设计.docVIP

基于lucene本地搜索程序概要设计 指导老师: 组 名： 所属院系： 专 业： 班 级： 完成日期： 摘 要 随着因特网的迅猛发展，搜索引擎提供导航服务己经成为互联网上非常重要的网络服务。利用Lucene开源全文本搜索技术框架建立全文检索系统，设计实现了索引器、检索器、中文分析器等模块，完成了一个基于Lucene的搜索引擎的应用，改进后的基于Lucene的全文检索系统能更好地支持中文及更准确地提供给户所需要的信息。 关键词：搜索引擎；网络爬虫；Lucene；Heritrix ABSTRACT With the rapid development of the Internet, the search engine provides navigation services have become very important network service on the Internet. Using Lucene open source full text search technology framework to build full-text retrieval system, designed for indexers, Retrievers, Chinese Analyzer module, completed an application based on the Lucene search engine, improved full-text search based on Lucene system better support for the Chinese and be a more accurate information provided to user needs keywords: search engine ; web crawler ; Lucene ; Heritrix 目录 摘 要 2 ABSTRACT 2 前景 4 产品介绍 5 第1章 设计概述 6 第2章 开发与运行环境 7 2.1开发环境的配置 7 2.2运行环境的配置 7 2.3需求概述 8 第三章 总体设计 9 3.1软件描述 9 3.2处理流程 9 3.2.1文档搜索处理流程 9 3.2.2多媒体及图像搜索处理流程 10 3.3功能结构设计 10 3.3.1搜索文件格式筛选功能结构 10 3.3.2搜索范围功能结构 10 3.4接口设计 10 3.4.1本地方法 11 3.4.2报告编程错误 12 3.4.3异常处理 12 3.5数据结构设计 12 3.5.1逻辑结构设计 12 3.6关键技术 13 3.6.1搜索 14 3.6.2索引 14 3.6.3多级缓存 14 第四章 界面设计及响应时间 15 4．1界面设计 15 4.2系统响应 16 第五章 出错处理设计 17 5.1出错输出信息 17 5.2出错处理对策 17 第六章 安全保密设计 18 6.1设计原则 18 6.2安全保密方案设计的总体框架 19 6.3安全保密方案设计步骤 19 6.4初级阶段的安全控制计划 20 6.5开发阶段的安全控制设计 21 第七章 维护设计 22 致谢 23 参考文献 24 前景 随着信息技术不断发展、互联网信息不断丰富，搜索引擎的发展速度也越来越快，目前仅Google收录的网页就超过80亿。伴随着搜索引擎的飞速发展，相应的瓶颈问题也开始出现：索引数据库越来越大，需要的维护成本越来越高；索引数据源单一，通常只限于文本内容；索引缺乏通用性和灵活性等等。而Lucene具有开放性和易扩展性，对于解决搜索引擎目前的问题有很好的应用价值。本文通过研究设计并开发实现一个小型简单的基于Lucene的本地搜索引擎，来研究Lucene在搜索引擎领域的应用前景。主要工作包括：(1)分析了本地搜索引擎的组成结构和工作原理，在此基础上进行了基于Lucene的本地搜索引擎的整体结构设计，并将系统分为网页搜集子系统、索引检索子系统、查询结果排序子系统等三个模块。(2)针对各个模块的功能进行了设计开发，设计了相关信息的存储机制，并根据搜索引擎的工作原理实现了各模块之间的交互。(3)深入分析并实现了多线程搜集、运用Lucene实现索引和检索、搜索结果的页面优先度计算等等基于L