毕业论文（参考）搜索引擎中网络蜘蛛的设计与实现.docVIP

湖南师范大学计算机科学与技术专业优秀本科毕业论文 搜索引擎中网络蜘蛛的 设计与实现 于 力 超 二〇〇七年五月 目 录 摘 要 1 1 绪论 3 1.1 课题背景 3 1.2 搜索引擎的定义与发展历史 3 1.3 现代搜索引擎的结构与原理 5 1.4 本文研究的主要内容 6 2 网络蜘蛛系统的分析与设计 7 2.1 网络蜘蛛的功能分析与设计要求 7 2.2 系统结构与工作原理 8 2.3 基于线程池技术的线程管理 10 2.4 基于广度优先的URL Server 12 2.4.1页面爬取策略——广度优先算法 12 2.4.2如何避免重复工作 13 2.5 HTML的解析 14 2.6 页面的存储与更新策略 16 3 基于Java的面向对象设计与实现 18 3.1 Java技术简介 18 3.2 网络蜘蛛的面向对象设计 19 3.3 线程池的实现 21 3.3.1工作线程Spider类 21 3.3.2线程池SpiderPool 22 3.4 基于哈希表的URL Server 23 3.4.1数据结构 23 3.4.2如何通知线程停止 24 3.5 Java Socket与页面请求 26 3.6 用正则表达式解析页面 27 3.7 网络蜘蛛的控制 29 3.8 程序运行结果的分析 30 结 论 33 参考文献 35 致 谢 36 搜索引擎中网络蜘蛛的设计与实现 计算机科学与技术2003级 于力超 摘 要：在互联网蓬勃发展的今天，信息浩如烟海。人们在享受互连网带来的便利的同时，却面临着一个如何在如此海量的内容中准确、快捷地找到自己所需要的信息的问题，由此互联网搜索引擎应运而生。当前对于搜索引擎是互联网中最热门的研究领域，以提供原料为主的网络蜘蛛正是搜索引擎性能的关键所在。 性能是网络蜘蛛的关键，采用多线程并发页面请求的方式可以大大提高网络蜘蛛的性能。此外，爬取策略，即优先爬取哪些网页也是影响网络蜘蛛高效性的关键因素，广度优先遍历算法是是解决这一问题的合理答案。 本文首先从搜索引擎出发，对搜索引擎的发展历史、系统结构和工作原理做了初步了解，然后探讨了网络蜘蛛在搜索引擎中的作用和地位，进而提出了网络蜘蛛的功能和设计要求。 接着，在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了线程调度、页面爬取、解析等策略和算法。并使用Java给出了一个网络蜘蛛的实现程序，对其运行结果做了分析。 最后，本文总结了实现程序的不足和优点，并展望了下一步的研究方向。 关键词：搜索引擎；网络蜘蛛；线程池；哈希表；广度优先 Design and Implementation of Web Spider in Search Engine Abstract: The contents on the web are increasing exponentially as the rapid development of the Internet. A problem how to obtain the useful information from vast contents quickly and accurately is facing us while people are enjoying the convenience of the Internet. The solver of this problem is Web Search Engine. Nowadays, search engine is one of the hottest topics in the field of Internet technology. To provide raw materials, Web Spider is the key to the performance of Search Engine. Performance is the key to Web Spider. Using multithreading to send request concurrently can improve the performance of Web Spider. In addition, crawling strategy that which pages should be downloaded first is also the key factor of performance. Breadth-first traversal is the reasonable answer to solve this problem. This text first from search engine to set out, did first step un