搜索引擎系统.docVIP

搜索引擎系统 摘 要 网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、搜索引擎、Web服务器三个方面进行详细的说明。为了更加深刻的理解这种技术，我还亲自实现了一个自己的搜索引擎——数码产品搜索引擎。它是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条手机信息进行索引后加入数据库。然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的产品。在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了数码产品搜索引擎的实现代码来说明，图文并茂、易于理解。 关键词 网络机器人; 解析; 索引; 搜索引擎 Search engine system Abstract Network is very rich in resources, but how effective search information is a difficult task. The establishment of a search engine is to solve this problem the best way. This paper first introduced Internet-based search engines structure, and then from the network robots, search engines, Web server three aspects of detail. In order to more profound understanding of this technology, I also personally has its own search engine - digital products search engine. It is from the specified Web pages in accordance with the ultra-connection analysis, search, and search for each phone to the information indexed to join the database. Through the Web server and the client accepted a request from the index to search the database by matching products. In introducing the search engine in addition to detailed chapters on the core technology of digital products in conjunction with the search engine to illustrate the realization of the code, illustrated, easy to understand. Key Words network robots ; Analysis ;Index ; SearchEngine 目 录 TOC \o 1-3 \h \z \u 绪 论 4 1搜索引擎的结构 5 1.1系统概述 5 1.1.1 网络机器人 5 1.1.2 索引与搜索 5 1.1.3 WEB服务器 6 1.1.4 系统的流程图 6 1.3 搜索引擎的主要指标 6 2 web爬虫 7 2.1 什么是web爬虫 7 2.2 Heritrix爬虫的组件 7 2.2.1 Heritrix的流程图 8 2.2.2 Heritrix的处理队列 9 3 基于Lucene的索引与搜索 9 3.1 什么是Lucene全文搜索 9 3.2 Lucene的原理分析 10 3.2.1全文检索的实现机制 10 3.2.2 Lucene的索引效率 10 3.2.3中文切分词机制 12 4 开发工具的介绍 13 4.1 Tomcat服务器 13 4.2 MYSQL数据库 14 4.3开发环境：MyEclipse 14 5垂直搜索引擎构建 14 5.1 网站的选择 14 5.2 对网站的分析并获得抓取清单 15 5.3 抓取清单获得以后，定制抓取类 15 5.4 网页抓取下来以后存放在磁盘上的镜像文件目录 15 5.5 对网页进行解析