Web资源自动获取技术研究与应用论文.docVIP

本 科 生 毕 业 论 文 题目： Web资源自动获取技术研究与应用 目 录 1 1 1.1研究的背景与意义 1 1.2 本文研究的内容 2 2 网络爬虫的基本介绍 2 2.1 网络爬虫的概述 2 2.2 网络爬虫的搜索策略 2 2.3 分布式网络爬虫使用的关键技术 3 2.3.1 多线程与线程同步 3 2.3.2 Socket套接字协议 4 3 系统功能需求分析 5 3.1 HTTP/HTTPS 页面下载器 5 3.2 页面链接的提取和URL的过滤 5 3.3 URL管理器 5 3.4 URL 转发器 6 3.5 多线程网络爬虫 6 3.6 服务器端与客户端的通信与协调 6 4 系统的设计与实现过程 7 4.1 开发环境与工具 7 4.2 爬虫中服务器端的设计与实现 7 4.2.1功能流程图和代码段及其界面图 7 4.2.2 URL分发器的实现 10 4.2.3 ID生成器的实现 11 4.3 爬虫客户端的设计与实现 11 4.3.1 功能流程图和代码段及其界面图 11 4.3.2 URL转发器的实现 13 4.3.3 URL接收器及其消重的实现 14 4.3.4 恢复采集断点功能的实现 15 4.4 数据库的设计与连接 16 4.5 系统的运行结果和测试分析 17 4.6 下载网页的查看