全文搜索引擎的设计与实现毕业论文（最全）.doc

.

....

全文搜索引擎的设计与实现毕业论文

目录

1绪论 1

1.1课题背景及介绍 1

1.2课题研究目的及应用 1

1.3课题研究围 1

1.4小结 2

2搜索引擎相关理论研究 3

2.1WEB搜索引擎原理和结构 3

2.1.1搜索引擎三段式工作流程 3

2.1.2搜索引擎整体结构 4

2.2网页收集 5

2.1.2爬虫的工作流程 5

2.1.3爬虫的抓取策略 5

2.1.4数据库的建立 6

2.1.5数据库的更新 6

2.3网页预处理 6

2.3.1建立索引页面库 7

2.3.2分词 9

2.3.3倒排索引 10

2.4查询服务 12

2.4.1查询方式和匹配 13

2.4.2结果排序 13

2.4.3文档摘要 14

2.5小结 15

3NUTCH相关框架研究 16

3.1LUCENE研究 16

3.1.1Lucene概述 16

3.1.2Lucene如何对索引进行搜索 16

3.1.3Lucene增删改索引的API 17

3.2NUTCH研究 21

3.2.1Nutch概述 21

3.2.2研究Nutch的原因 21

3.2.3研究Nutch的目标 22

3.2.4Nutch和Lucene比较 22

3.2.5Nutch常用命令 22

3.3SOLR研究 28

3.3.1Solr概述 28

.参考资料.

.

....

3.3.2Solr索引 29

3.3.3Solr搜索 30

3.3.4Lucene索引查看工具Luke 31

3.4HADOOP研究 33

3.4.1Hadoop概述 33

3.4.2Hadoop单机本地模式 34

3.4.3Hadoop单机伪分布式模式 34

3.5小结 37

4全文搜索引擎系统分析与技术选型 37

4.1系统目标需求 37

4.2系统功能项 37

4.3可行性分析与决策 38

4.3.1技术可行性 38

4.3.2经济可行性 39

4.4小结 39

5全文搜索引擎系统设计与实现 40

5.1系统功能图 40

5.2系统实体设计 41

5.2.1实体 41

5.2.2实体的属性 42

5.2.3实体间的联系 42

5.3系统实现 43

5.3.1系统需要的环境 43

5.3.2系统中Nutch的配置 43

5.3.3对整个网络进行抓取 44

5.3.4Solr安装配置和使用 48

5.3.5给Solr4.2添加mmseg4j 48

5.3.6客户端应用程序的实现 50

5.4小结 56

6全文搜索引擎系统评价 57

6.1系统特色 57

6.2系统存在的不足和解决方案 57

6.2.1系统存在的不足 57

6.2.2改进措施 58

6.2.3毕业设计心得与收获 58

7结束语 59

致谢 60

参考文献 61

.参考资料.

1绪论

1.1课题背景及介绍

随着互联网的快速发展，越来越丰富的信息呈现在用户面前，但同时伴随的问题是用户越来越难以获得其最需要的信息。为了解决此问题，出现了网络搜索引擎。网络搜索引擎中以基于WWW的搜索引擎应用围最为广泛。网络搜索引擎是指对WWW站点资源和其它资源进行索引和检索的一类检索机制。全文搜索引擎是目前最为普及的应用，通过从互联网上提取各个的信息(以网页文字为主)建立数据库，用户查询的时候便在数据库中检索与用户查询条件相匹配的记录，最终将匹配的那些记录，按一定的排列顺序显示给用户。国外具代表性的全文检索搜索引擎有Google、Yahoo、Bing等，国著名的有百度、中搜等。

目前网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法之一。该课题要求设计一个Web应用程序，学习搜索引擎的基本原理和设计方法，应用开源的全文搜索引擎Lucene框架