Lucene全文索引系统新词识别.docVIP

Lucene论文：基于Lucene全文索引系统设计与实现 【中文摘要】在当今信息大爆炸的时代,快速从海量的信息中找到所求成为信息应用的核心任务。特别是企业级的数据散落在多种结构,不同的数据源之上,如何对数据进行结构化并提供统一的查询接口对于企业级的信息搜索是重大的挑战。企业内容搜索是一个较新的领域,它涉及到信息平台整合,数据管理,海量数据管理,信息检索等多种技术。目前的企业内容搜索技术,多是先将数据集中化,而后将搜索引擎技术融入到企业内容搜索中,通过构造全文索引来达到快速全面检索数据的。本文设计并完成了基于Lucene框架的全文索引系统。在Lucene只能处理文本文档的基础上,增加了对于Office系列文档,PDF文档,HTML文档的支持。全文索引系统通过对非结构化的本文进行分词,索引等处理构建反向索引。最终通过排名算法,将结果按照相关性的高低呈现给用户,从而达到快速精准的检索。最终系统向外提供统一的查询接口,提供简单的关键字搜索和带语法的高级搜索功能,增加了多字段搜索功能。提供给用户搜索界面这一对用户友好的检索方式,增加了对于拼音搜索的支持,用户通过输入拼音返回汉字来辅助搜索。返回的信息中包括关键字的高亮显示的功能,让用户能够从摘要中看到查询结果中是否... 【英文摘要】In the era of information explosion, rapid fetching the need from huge amount of information becomes the core task of information applications. Especially, enterprise-level data is in a variety of structure, scattered over different data sources of data, how to provide a unified structured and querying interface for enterprise-level information search is significant challenge.At present, the enterprise content search technology is to blend the search engine technology into enterprise content search. The... 【关键词】Lucene 全文索引系统 新词识别 【英文关键词】Lucene full text retrieve system new word identify 【索购全文】联系Q1：138113721 Q2：139938848 【目录】基于Lucene全文索引系统设计与实现 摘要 5-6 Abstract 6 目录 7-10 图目录 10-12 表目录 12-15 第一章 绪论 15-18 1.1 背景 15-16 1.2 设计方案 16-17 1.3 本文的组织结构 17-18 第二章 相关技术 18-26 2.1 信息检索 18 2.2 信息检索模型 18-20 2.2.1 布尔模型 19 2.2.2 向量模型 19-20 2.3 开源的全文索引工具包Lucene 20-24 2.3.1 Lucene的整体架构 21-22 2.3.2 Lucene索引机制 22-23 2.3.3 Lucene索引建立流程 23-24 2.4 新词识别技术 24-25 2.5 本章小结 25-26 第三章 系统分析与设计 26-47 3.1 系统用例分析 26-27 3.2 系统总体设计 27-28 3.3 文档预处理的设计 28-30 3.3.1 Office文档文本提取的设计 28-29 3.3.2 PDF文本提取的设计 29 3.3.3 HTML文本提取的设计 29-30 3.4 新词的识别的设计 30-35 3.4.1 新词识别的分析 30-33 3.4.2 新词识别详细设计 33-35 3.5 索引模块的设计 35-37 3.6 检索模块的设计 37-40 3.6.1 检索模块分析 37-39 3.6.2 检索模块详细设计 39-40 3.7 拼音搜索的设计 40-46 3.7.1 拼音搜索分析 40-43 3.7.2 拼音搜索详细设计 43-46 3.8 本章小结 46-47 第四章 全文索引系统的实现 47-60 4.1 文档预处理模块的实现 47-50 4.1.1 HTMLProcessor的实现 47-48 4.1.2 PDFProcessor的实现 48-49 4.1.3 OFFICE文件文本提取的实现 49-50 4.2 新词识别的实现 5