基于网络爬虫的搜索引擎设计与实现—毕业设计论文.doc

本科毕业设计 题目：基于网络爬虫的搜索引擎设计与实现 系 别： 　 专 业：计算机科学与技术 班 级： 学 号： 姓 名： 同组人： 指 导 教 师： 教师职称： 协 助 指 导 教 师： 教师职称： 摘要 本文从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地住，提出了网络蜘蛛的功能和设计要求。在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。 关键字：爬虫、搜索引擎 Abstract The paper，discussing from the application of the search engine，searches the importance and function of Web spider in the search engine．and puts forward its demand of function and design．On the base of analyzing Web Spider’s system strtucture and working elements．this paper also researches the method and strategy of multithreading scheduler，Web page crawling and HTML parsing．And then．a program of web page crawling based on Java is applied and analyzed． Keyword: spider, search engine 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc191530498 摘要 PAGEREF _Toc191530498 \h 2 HYPERLINK \l _Toc191530499 Abstract PAGEREF _Toc191530499 \h 3 HYPERLINK \l _Toc191530500 一、项目背景 PAGEREF _Toc191530500 \h 5 HYPERLINK \l _Toc191530501 1.1搜索引擎现状分析 PAGEREF _Toc191530501 \h 5 HYPERLINK \l _Toc191530502 1.2课题开发背景 PAGEREF _Toc191530502 \h 6 HYPERLINK \l _Toc191530503 1.3网络爬虫的工作原理 PAGEREF _Toc191530503 \h 8 HYPERLINK \l _Toc191530504 二、系统开发工具和平台 PAGEREF _Toc191530504 \h 9 HYPERLINK \l _Toc191530505 2.1关于java语言 PAGEREF _Toc191530505 \h 9 HYPERLINK \l _Toc191530506 2.2 Jbuilder介绍 PAGEREF _Toc191530506 \h 10 HYPERLINK \l _Toc191530507 2.3 servlet的原理 PAGEREF _Toc191530507 \h 12 HYPERLINK \l _Toc191530508 三、系统总体设计 PAGEREF _Toc191530508 \h 14 HYPERLINK \l _Toc191530509 3.1系统总体结构 PAGEREF _Toc191530509 \h 14 HYPERLINK \l _Toc191530510 3.2系统类图 PAGEREF _Toc191530510 \h 14 HYPERLINK \l _Toc191530511 四、系统详细设计 PAGEREF _Toc191530511 \h 17 HYPERLINK \l _Toc191530512 4.1搜索引擎界面设计 PAGEREF _Toc191530512 \h 17 HYPERLINK \l _Toc