毕业论文（设计）网络爬虫的设计与实现[精品].docVIP

毕业论文（设计）网络爬虫的设计与实现 摘要 网络爬虫是一种自动搜集互联网信息的程序通过网络爬虫不仅能够为搜索引擎采集网络信息而且可以作为定向信息采集器定向采集某些网站下的特定信息如招聘信息租房信息等 本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序本论文阐述了网络爬虫实现中一些主要问题为何使用广度优先的爬行策略以及如何实现广度优先爬行为何要使用多线程以及如何实现多线程系统实现过程中的数据存储网页信息解析等 通过实现这一爬虫程序可以搜集某一站点的URLs并将搜集到的URLs存入数据库 关键字网络爬虫JAVA广度优先多线程 ABSTRACT SPIDER is a program which can auto collect informations from internet SPIDER can collect data for search engines also can be a Directional information collector collects specifically informations from some web sites such as HR informations house rent informations In this paper use JAVA implements a breadth-first algorithm multi-thread SPDIER This paper expatiates some major problems of SPIDER why to use breadth-first crawling strategy and how to implement breadth-first crawling why to use multi-threading and how to implement multi-thread data structure 6HTML code parse etc  This SPIDER can collect URLs from one web site and store URLs into database KEY WORDSPIDER JAVA Breadth First Search multi-threads第一章 引言 1 第二章 相关技术介绍 2 21 JAVA线程 2 com 线程概述 2 com JAVA线程模型 2 com 创建线程 3 com JAVA中的线程的生命周期 4 com JAVA线程的结束方式 4 com 多线程同步 5 22 URL消重 5 com URL消重的意义 5 com 网络爬虫URL去重储存库设计 5 com LRU算法实现URL消重 7 23 URL类访问网络 8 24　爬行策略浅析 8 com深度优先搜索策略 8 com 聚焦搜索策略 9 com容评价的搜索策略 9 com 基于链接结构评价的搜索策略 10 com 基于巩固学习的聚焦搜索 11 com 基于语境图的聚焦搜索 11 第三章 系统需求分析及模块设计 13 31 系统需求分析 13 32 SPIDER体系结构 13 33 各主要功能模块类设计 14 34 SPIDER工作过程 14 第四章 系统分析与设计 16 41 SPIDER构造分析 16 42 爬行策略分析 17 43 URL抽取解析和保存 18 com URL抽取 18 com URL解析 19 com URL保存 19 第五章 系统实现 21 51 实现工具 21 52 爬虫工作 21 53 URL解析 22 54 URL队列管理 24 com URL消重处理 24 com URL等待队列维护 26 com 数据库设计 27 第六章 系统测试 29 第七章 结论 32 参考文献 33 致谢 34 外文资料原文 35 译文 51 第一章 引言 随着互联网的飞速发展网络上的信息呈爆炸式增长这使得人们在网上找到所需的信息越来越困难这种情况下搜索引擎应运而生搜索引擎搜集互联网上数以亿计的网页并为每个词建立索引在建立搜索引擎的过程中搜集网页是非常重要的一个环节爬虫程序就是用来搜集网页的程序以何种策略偏历互联网上的网页也成了爬虫程序主要的研究方向现在比较流行的搜索引擎比如google百度它们爬虫程序的技术内幕一般都不公开目前几种比较常用的爬虫实现策略广度优先的爬虫程序Repetitive爬虫程序定义爬行爬虫程序深层次爬行爬虫程序此外 还有根据概率论进行可用Web页的数量估算 用于评估互联网Web规模的抽样爬虫程序 采用爬行深度页面导入链接量分析等方法 限制从程序下