搜索引擎中网络蜘蛛的设计与实现.docVIP

PAGE PAGE 2 湖南师范大学计算机科学与技术专业优秀本科毕业论文 搜索引擎中网络蜘蛛的 设计与实现 于 力 超 二〇〇七年五月 目 录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc 摘 要 PAGEREF _Toc \h 1 HYPERLINK \l _Toc 1 绪论 PAGEREF _Toc \h 3 HYPERLINK \l _Toc 1.1 课题背景 PAGEREF _Toc \h 3 HYPERLINK \l _Toc 1.2 搜索引擎的定义与发展历史 PAGEREF _Toc \h 3 HYPERLINK \l _Toc 1.3 现代搜索引擎的结构与原理 PAGEREF _Toc \h 5 HYPERLINK \l _Toc 1.4 本文研究的主要内容 PAGEREF _Toc \h 6 HYPERLINK \l _Toc 2 网络蜘蛛系统的分析与设计 PAGEREF _Toc \h 7 HYPERLINK \l _Toc 2.1 网络蜘蛛的功能分析与设计要求 PAGEREF _Toc \h 7 HYPERLINK \l _Toc 2.2 系统结构与工作原理 PAGEREF _Toc \h 8 HYPERLINK \l _Toc 2.3 基于线程池技术的线程管理 PAGEREF _Toc \h 10 HYPERLINK \l _Toc 2.4 基于广度优先的URL Server PAGEREF _Toc \h 12 HYPERLINK \l _Toc 2.4.1页面爬取策略——广度优先算法 PAGEREF _Toc \h 12 HYPERLINK \l _Toc 2.4.2如何避免重复工作 PAGEREF _Toc \h 13 HYPERLINK \l _Toc 2.5 HTML的解析 PAGEREF _Toc \h 14 HYPERLINK \l _Toc 2.6 页面的存储与更新策略 PAGEREF _Toc \h 16 HYPERLINK \l _Toc 3 基于Java的面向对象设计与实现 PAGEREF _Toc \h 18 HYPERLINK \l _Toc 3.1 Java技术简介 PAGEREF _Toc \h 18 HYPERLINK \l _Toc 3.2 网络蜘蛛的面向对象设计 PAGEREF _Toc \h 19 HYPERLINK \l _Toc 3.3 线程池的实现 PAGEREF _Toc \h 21 HYPERLINK \l _Toc 3.3.1工作线程Spider类 PAGEREF _Toc \h 21 HYPERLINK \l _Toc 3.3.2线程池SpiderPool PAGEREF _Toc \h 22 HYPERLINK \l _Toc 3.4 基于哈希表的URL Server PAGEREF _Toc \h 23 HYPERLINK \l _Toc 3.4.1数据结构 PAGEREF _Toc \h 23 HYPERLINK \l _Toc 3.4.2如何通知线程停止 PAGEREF _Toc \h 24 HYPERLINK \l _Toc 3.5 Java Socket与页面请求 PAGEREF _Toc \h 26 HYPERLINK \l _Toc 3.6 用正则表达式解析页面 PAGEREF _Toc \h 27 HYPERLINK \l _Toc 3.7 网络蜘蛛的控制 PAGEREF _Toc \h 29 HYPERLINK \l _Toc 3.8 程序运行结果的分析 PAGEREF _Toc \h 30 HYPERLINK \l _Toc 结 论 PAGEREF _Toc \h 33 HYPERLINK \l _Toc 参考文献 PAGEREF _Toc \h 35 HYPERLINK \l _Toc 致 谢 PAGEREF _Toc \h 36 搜索引擎中网络蜘蛛的设计与实现 计算机科学与技术2003级 于力超 摘 要：在互联网蓬勃发展的今天，信息浩如烟海。人们在享受互连网带来的便利的同时，却面临着一个如何在如此海量的内容中准确、快捷地找到自己所需要的信息的问题，由此互联网搜索引擎应运而生。当前对于搜索引擎是互联网中最热门的研究领域，以提供原料为主的网络蜘蛛正是搜索引擎性能的关键所在。 性能是网络蜘蛛的关键，采用多线程并发页面请求的方式可以大大提高网络蜘蛛的性能。此外，爬取策略，即优先爬取哪些网页也是影响网络蜘蛛高效性的关键因素，广度优先遍历算法是是解决这一问题的合理答案。