基于Lucene的全文搜索引擎设计--毕业设计.docVIP

PAGE PAGE 42 毕 业 设 计 基于Lucene的全文搜索引擎设计 学生承诺书 本人郑重承诺：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。 ???????????????????????????????????????????????作者签名: 年? 月? 日 摘 要 Web搜索引擎技术是当今网络信息处理领域的一个热点和难点。Web可以看作是一个庞大的分布式网络数据库，对于这样一个信息量飞速增长的数据库，如果人工地去检索和分类将是一项非常巨大的工程，而搜索引擎技术则能够帮助我们更容易地从Web中获取所需信息。 本文阐述了一个全文检索系统的原理及其设计和实现过程。该系统基于B/S模式的JavaWeb平台架构实现，使用MySQL作为系统的数据库，并采用Heritrix，Lucene等优秀的开源框架实现对某网页手机产品信息的检索。系统还利用Struts，Hibernate，Spring等流行的Java开发框架以及面向接口编程很好地实现了对系统的解耦合。在前端使用具备较强UI表现功能的Extjs作为辅助实现了Ajax应用。 本文首先介绍了课题研究背景，然后对系统涉及到的相关技术做了较为详细的说明，最后根据软件工程的开发方法逐步实现系统的功能。 关键词：Web 搜索 手机 Lucene 框架 Ajax 目 录 TOC \o 1-3 \h \z \u 1 前言 1 1.1 研究目的和意义 1 1.2 课题研究的背景 2 1.3 国内外研究概况 2 2 相关理论知识 3 2.1 Web爬虫Heritrix介绍 3 2.2 Ajax（Asynchronous JavaScript and XML）技术 3 2.3 Struts介绍 4 2.4 Hibernate介绍 6 2.5 Spring介绍 7 2.6 分词技术 8 3 概要设计 9 3.1 系统模块图 9 3.2 网页爬虫模块 9 3.2.1 Heritrix的体系结构图 10 3.2.2 架构分析 10 3.3 网页分析与提取模块 11 3.4 索引建立模块 12 3.5 Web搜索模块 14 4 详细设计 15 4.1 Web爬虫的配置和扩展 15 4.2 网页的分析与数据提取 16 4.3 索引的建立与数据库设计 20 4.3.1 实体对象设计 21 4.3.2 将数据文件转化为对象 22 4.3.3 将对象持久化到数据库 23 4.3.4 建立索引 24 4.4 Web系统模块和搜索模块设计 26 4.4.1 搜索模块设计 27 4.4.2 Web系统模块设计 28 5 用户手册以及测试结果 29 5.1 系统运行准备 29 5.2 使用Heritrix抓取网页 29 5.3 网页数据提取 34 5.4 建立索引和初始化数据库 35 5.5 搜索 36 6 总结 39 6.1 系统存在的问题 39 6.2 开发过程出现的问题 40 6.3 心得体会 40 致 谢 42 参 考 文 献 43 Abstract 44 仲恺农业技术学院毕业论文(设计)成绩评定表 45 1 前言 1.1 研究目的和意义 在构建一个信息类 Web 站点的时候，站点的全文搜索功能是必备的功能之一。一般站点的信息内容都存储在各种数据库系统中，并使用数据库提供的检索和查询功能构建网站的搜索功能。但随着信息的累积，使用数据库中的类like‘%keyword%’查询构成的数据检索性能将急剧下降，因此，只使用数据库查询进行全文检索并不是一个好的解决方案。 Lucene是一个基于Java技术的全文索引引擎工具包，它可以方便地嵌入到各种应用中实现针对应用的全文索引/检索功能。例如 Lucene可以快速实现一个简单、功能强大的数据全文检索系统。 Lucene富有弹性的软件架构可以使我们方便地对其功能进行扩充，以快速实现一个通用网站的全文搜索引擎。该搜索引擎的实现既可以避免使用数据库的Like‘keyword’查询带来的低效性和影响数据库的其他正常使用等问题，也可以避免使用其他大型搜索引擎的站内搜索功能所遇到的更新慢、数据不准确、无法控制输出格式等问题。 由于数据库索引不是为全文索引设计的，因此，使用like %keyword%时，数据库索引是不起作用的，在使用like查询时，搜索