基于Web搜索引擎的设计与实现本科大学论文.docVIP

本科毕业论文（设计、创作） 题目： 基于Web搜索引擎的设计与实现 Design and Implementation of Web-based search engine 摘 要 网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。在次基础上设计并实现了一种快捷高效的新闻搜索引擎，该搜索引擎是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条新闻进行索引后加入数据库,然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的新闻。 关键词：搜索引擎;网络机器人;索引引擎 ;Web服务器  Abstact The network resources are very rich, but how effective search information is a difficult thing. Build a search engine is the best way to solve the problem. This paper first introduced the Internet search engine based on the structure of the system, and then from the network robots, indexing engine, the Web server of the three aspects of the detailed instructions. Based on the time designed and realized a quick and efficient news search engine, the search engine from the Web page in accordance with specified in the connection for analytical, search, and the search to every news indexing of add to the database. Then through the Web server accept client requests from database search index after the news of the match. Keywords: search engine; Network robot; Indexing engine; Web server  目 录 摘要 2 目录 4 第一章 绪论 6 1.1搜索引擎出现的背景及意义 6 1.2搜索引擎的发展历史及趋势 6 第二章 搜索引擎的结构 9 2.1系统概述 9 2.2搜索引擎的构成 9 2.2.1网络机器人 9 2.2.2索引与搜索 9 2.2.3 Web服务器 10 2.3搜索引擎的主要指标及分析 10 2.4小结 10 第三章 网络机器人 11 3.1什么是网络机器人 11 3.2网络机器人的结构分析 11 3.2.1如何解析HTML 11 3.2.2 Spider程序结构 12 3.2.3如何构造Spider程序 13 3.2.4如何提高程序性能 15 3.2.5网络机器人的代码分析 16 3.3小结 18 第四章 基于lucene的索引与搜索 19 4.1什么是Lucene全文检索 19 4.2 Lucene的原理分析 19 4.2.1全文检索的实现机制 19 4.2.2 Lucene的索引效率 19 4.2.3 中文切分词机制 21 4.3 Lucene与Spider的结合 22 4.4小结 25 第五章 基于Tomcat的Web服务器 26 5.1什么是基于Tomcat的Web服务器 26 5.2用户接口设计 26 5.2.1客户端设计 26 5.2.2服务端设计 27 5.3在Tomcat上部署项目 30 5.4小结 30 第六章 项目总结以及未来工作展望 31 6.1项目总结 31 6.2未来工作展望 31 参考文献 32 致谢 33 第一章 绪论 1.1搜索引擎出现的背景及意义 网络的出现以及发展对于世界发展的意义是极其重要的，它让地球村的理念变成现实，信息的传输不再受到时间和空间的限制。在没有搜索引擎的时代，用户希望寻找某方面的信息，就必须通过各种途径或者是网站之间的连接寻找，可以这样说，脱离了搜索引擎的网站，就像是信息海洋中的一个一个孤岛，用户必将面临巨大的搜索成本，同时必须付出