基于ajax lucene构建搜索引擎的设计和实现.docVIP

基于Ajax+Lucene构建搜索引擎的设计和实现 摘nbsp;nbsp;要 通过搜索引擎从互联网上获取有用信息已经成为人们生活的重要组成部分，Lucene是构建搜索引擎的其中 一种方式。搜索引擎系统是在.Net平台上用C#开发的，数据库是MSSQLnbsp;Servernbsp;2000。主要完成的功能有 ：用爬虫抓取网页；获取有效信息放入数据库；通过Lucene建立索引；对简单关键字进行搜索；使用Ajax 的局部刷新页面展示结果。 论文详细说明了系统开发的背景，开发环境，系统的需求分析，以及功能的设计与实现。同时讲述了搜索 引擎的原理，系统功能，并探讨使用Ajax与服务器进行数据异步交互，从而改善现有的Web应用模式。 关键词：Lucene.net；异步更新；Ajax；搜索引擎 nbsp;引言 1.1nbsp;课题背景 Lucene是一个基于Java的全文信息检索工具包，它为应用程序提供索引和搜索功能。Lucene目前是Apache Jakarta家族中的一个开源项目。也是目前最为流行的基于Java开源全文检索工具包。Lucene是Java世界 中常用的索引API，使用它提供的方法可以为文本资料创建索引，并提供检索。Lucene.net它只在命名方 面采纳了.Net的建议，主要目标倾向于和Javanbsp;Lucene兼容：一个是索引格式兼容，达到可以共同工作的 目的；一个是命名接近（只相差很少，比如大小写等），目的是可以方便开发者使用Javanbsp;Lucene相关的 代码和资料。 1.2nbsp;国内外研究现状 国内外对搜索引擎研究比较著名的便是Google了。无论搜索技术本身还是搜索范围与深度，Google搜索总 是所有搜索引擎的目标。Google专业领域搜索方面做的成效是有目共睹的。Google在低层次的智能搜索方 面已经开始研究很多年了，实际的成果就是翻译方面。利用搜索技术，加上经验主义发展出来的Google翻 译机器人，在外语翻译方面已经比传统的翻译好很多了。但是翻译仅仅是学术方面的应用，更重要的是 Google建立起来的海量搜索历史记录。如果把这些海量搜索历史记录当作是词典的话，那么如果与搜索技 术的结合发展成为低层次的只能搜索，那么应用就将大大加强与广泛。 国内，对搜索引擎的专注和对中文的理解能力也是中国本土搜索引擎行业独特的竞争力。国内比较著名的 比如百度，更专注对中文的处理。中文的意思多种多样，是很难用程序处理的。目前国内外都在做中文引 擎，门户网站、非门户网站也都在进军搜索业，成立搜索门户。为了满足用户更深层次的需求，国内的搜 索引擎也在不断的完善自己。如何将人类的知识和智能加入到检索中，如何使搜索引擎的质量产生一个质 的飞跃，也是国内搜索引擎努力的方向。中国网民对智能化搜索需求也是显而易见的。这也意味着搜索不 再是简单的技术或者是网络导航而已，而是会成为普通人生活中必备的工具之一。 1.3nbsp;本课题研究的意义 随着计算机技术和互联网技术的飞速发展，网络上的信息量急剧增长，要在浩如烟海的网络世界中寻找需 要的信息，作为现代信息获取技术的主要应用，那么搜索引擎是必不可少的。通过Lucene.net，可以很方 便的构建起搜索引擎，本毕业设计除了考查使学生综合运用以前所学知识的能力，同时也使学生了解当今 搜索及编程的一些新技术，并模拟简单的搜索引擎开发。 1.4nbsp;本课题的研究方法 在本系统的开发过程中，首先分析了搜索引擎的相关功能，写出需求分析；其次，综合运用以前所学的相 关知识（数据库，C＃等），选择所熟悉的开发工具进行开发（本系统选择了Microsoftnbsp;Visualnbsp;Studio .NETnbsp;2003作为开发平台，开发语言选择了C#；数据库采用Microsoftnbsp;SQLnbsp;Servernbsp;2000）。由于Lucene不 是完整的搜索引擎程序，只为搜索引擎应用提供了工具包，在Asp.net平台中，可使用Lucene.net这个对 Lucene兼容的库。使用Lucene.net协助完成搜索引擎相关的网页爬虫与抓取，为文档建立索引，关键词搜 索的功能，通过Ajax优化系统，完成页面的局部刷新功能，给用户好的体验。 2nbsp;Lucene.net构建搜索引擎原理 2.1nbsp;全文搜索引擎 2.1.1nbsp;搜索引擎的分类 获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。真正意义上的搜nbsp; 索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引 ，建立索引数据库的全文搜索引擎。当用