JSP1066 Web上基于内容的搜索引擎实现2.docVIP

摘 要 网络中的资源非常丰富，但是如何有效的搜索自己需要的信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法，它可以帮助用户快速定位自己所要查询的资源。但是现在大部分搜索引擎都不是开源免费的，因此本文尝试设计一个简单的搜索引擎，并可以扩展到企业、学校内部网络实现非结构化文档的内容检索。 本文首先介绍了关于这次设计所需要的关键技术Lucene、Ajax、服务器推等，以及它们的工作原理。然后在此基础之上分析设计一个搜索引擎的框架，主要有三个大模块组成：爬虫模块、索引模块和搜索模块，并描绘了三个模块之间关系图，实现模块间的低耦合度。并对三个模块进了分析、设计和实现。首先，爬虫模块是建立网页库和索引库的基础，因此高效灵活的数据抓取会为资源库的建立做下铺垫；其次，索引模块是实现高效数据检索的基础，合理文档内容索引，以及索引数据的存储结构，会直接影响查询速度，进而会影响用户体验。因此合理的设计非常重要，基于此本系统采用了Lucene实现内容的倒排序索引，比传统的索引效率高；最后，搜索模块是检索用户需求数据的模块，通过数据的分页显示减少了服务器和客户端数据的传输量，并实现类似Google Suggest效果提高用户体验。 文章最后总结了系统整体设计和实现，并对未来的扩展做了分析，主要是如何使用基于MapRedue的分布式库Hadoop实现分布式爬取、索引和检索，以及如何使用内存数据库建立效率更高的URL库和线程池，提高爬虫网页抓取效率。 关键词：Lucene，服务器推，爬虫，索引，搜索，MapReduce，Hadoop，内存数据库 目 录 第1章 绪论 1 1.1 课题背景 1 1.2 实现基于内容检索需要解决的问题 1 1.3 课题研究的目的和意义 1 第2章 系统采用的关键技术 2 2.1 Lucene库简介 2 2.2 J2EE技术介绍 3 2.3 Ajax技术及ExjJS库简介 4 2.4 服务器推技术及Pushlet库 5 第3章 系统总体设计 6 3.1 总体构架 6 3.2 各个模块功能分析 6 3.3 小结 7 第4章 主要功能模块设计及实现 8 4.1 爬虫功能模块的设计与实现 8 4.1.1 网络爬虫介绍 8 4.1.2 网络爬虫功能需求 9 4.1.3 网络爬虫系统结构 9 4.1.4 网络爬虫算法 10 4.1.5 网络爬虫系统实现 11 4.2 索引功能模块的设计与实现 15 4.2.1 Lucene索引介绍 15 4.2.2 倒排索引原理 16 4.2.3 中文分词 16 4.2.4 网页资源文本分析 18 4.2.4 索引模块整体构架 18 4.2.5 索引模块实现 19 4.3 搜索功能模块的设计与实现 22 4.3.1 介绍信息查询概述 22 4.3.2 查询基本流程 23 4.3.3 查询结果显示 23 4.3.4 Lucene搜索介绍 24 4.3.5搜索模块实现 24 4.4 小结 30 结 论 31 参考文献 32 致 谢 33  图4.4 爬虫后台实现效果 图4.10 查询结果 重要提示： 本论文由大学论文网 毕业论文下载网： 提供 如果需要详细内容请与QQ:4991024联系 重要提示： 本论文由大学论文网 毕业论文下载网： 提供 如果需要详细内容请与QQ:4991024联系 I 1