网络搜索引擎应用研究论文_学位论文.doc

毕业论文 题 目：网络搜索引擎应用研究 _ 学 院： 学生姓名： 指导教师： 起讫日期： ___________ 摘 要 搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列……………………… 1 引言…………………………………………………………………………… 5 1.1搜索引擎的初现与发展…………………………………………………………… 6 1.1.1搜索引擎的初显……………………………………………………………… 6 1.1.2搜索引擎的发展……………………………………………………………… 6 1.2 搜索引擎在我国的发展现状………………………………………………………8 1.2.1我国搜索引擎的背景………………………………………………………… 8 1.2.2 搜索引擎的现状………………………………………………………………9 1.3本文的研究内容…………………………………………………………………10 搜索引擎的原理…………………………………………………………… 11 2.1搜索引擎的原理概述…………………………………………………………… 11 2.2搜索引擎的实现原理…………………………………………………………… 12 2.2.1从互联网上抓取网页……………………………………………………… 12 2.2.2建立索引数据库…………………………………………………………… 12 2.2.3在索引数据库中搜索……………………………………………………… 13 2.2.4对搜索结果进行处理排序………………………………………………… 13 2.3垂直搜索引擎的工作原理……………………………………………………… 14 2.3.1垂直搜索引擎的基本原理………………………………………………… 14 2.3.2垂直搜索引擎的技术原理………………………………………………… 14 2.3.3垂直搜索引擎技术框架…………………………………………………… 15 搜索引擎的核心--网络蜘蛛……………………………………………… 16 3.1网络蜘蛛………………………………………………………………………… 16 3.1.1网络蜘蛛的介绍…………………………………………………………… 16 3.1.2网络蜘蛛的工作原理……………………………………………………… 16 3.2网络蜘蛛的结构分析…………………………………………………………… 17 3.2.1如何解析HTML……………………………………………………………… 17 3.2.2Spider程序结构…………………………………………………………… 19 3.2.3如何构建Spider程序………………………………………………………19 3.2.4如何提高程序性能………………………………………………………… 20 3.2.5网络蜘蛛的代码分析………………………………………………………21 3.3网络蜘蛛的处理对象……………………………………………………………23 3.4网络蜘蛛面临的难题……………………………………………………………23 搜索引擎的主要技术………………………………………………………25 4.1搜索器、索引器、检索器及用户接口…………………………………………25 4.1.1搜索器………………………………………………………………………25 4.1.2索引器………………………………………………………………………25 4.1.3检索器………………………………………………………………………25 4.1.4用户接口……………………………………………………………………26 4.2中文搜索引擎的中文分词技术…………………………………………………26 搜索引擎的系统构架………………………………………………………27 5.1搜索引擎的系统构架图…………………………………………………………27 5.2搜索引擎的系统构架……………………………………………………………27 5.2.1从互联网上抓取网页………………………………………………………27 5.2.2建立索引数据库…………………………………………………