山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.docxVIP

山东建筑大学 课程设计成果报告 题 目: 基于Python的网络爬虫设计 课 程： 计算机网络A 院 （部）: 管理工程学院 专 业： 信息管理与信息系统 班 级： 学生姓名： 学 号： 指导教师： 完成日期： TOC \o 1-5 \h \z \o Current Document 1设计目的 仁 \o Current Document 2设计任务内容 1.. \o Current Document 3网络爬虫程序总体设计 1. \o Current Document 4网络爬虫程序详细设计 1. \o Current Document 4.1设计环境和目标分析 1. 4.1.1设计环境 1. 4.1.2目标分析 2. \o Current Document 4.2 爬虫运行流程分析 2. \o Current Document 4.3控制模块详细设计 3. \o Current Document 4.3爬虫模块详细设计 3. 4.3.1 URL管理器设计 .3 \o Current Document 4.3.2网页下载器设计 .3 \o Current Document 4.3.3网页解析器设计 .3 \o Current Document 4.4数据输出器详细设计 .4. \o Current Document 5调试与测试 .4.. \o Current Document 5.1调试过程中遇到的问题 .4. \o Current Document 5.2测试数据及结果显示 5 \o Current Document 6课程设计心得与体会 5. \o Current Document 7参考文献 6.. \o Current Document 8附录1网络爬虫程序设计代码 6 \o Current Document 9附录2网络爬虫爬取的数据文档 9 PAGE PAGE # 1设计目的 本课程设计是信息管理与信息系统专业重要的实践性环节之一， 是在学生学习完《计算 机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务： 1巩固和加深学生对计算机网络基本知识的理解和掌握； 2?培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高 网络编程能力； 3?提高学生进行技术总结和撰写说明书的能力。 2设计任务内容 网络爬虫是从 web中发现，下载以及存储内容，是搜索引擎的核心部分。传统爬虫从一 个或若干初始网页的 URL开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当 前页面上抽取新的 URL放入队列，直到满足系统的一定停止条件。 参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。 选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能， 界面适当美化。给出软件测试结果。 3网络爬虫程序总体设计 爬虫控制器URL管理器 爬虫控制器 URL管理器 t 【Jr _ * f 网页解析器 LJ 网页下载器 ?? 浄数据输出器 在本爬虫程序中共有三个模块： 1、 爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况 2、 爬虫模块：包含三个小模块， URL管理器、网页下载器、网页解析器。 URL管理器：对需要爬取的 URL和已经爬取过的 URL进行管理，可以从 URL 管理器中取出一个待爬取的 URL，传递给网页下载器。 网页下载器：网页下载器将URL指定的网页下载下来， 存储成一个字符串， 传递 给网页解析器。 网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的 数据，而且还可以解析出每一个网页指向其他网页的 URL，这些URL被解析出来会补充进 URL管理器 3、 数据输出模块：存储爬取的数据 4网络爬虫程序详细设计 4.1设计环境和目标分析 4.1.1设计环境 IDE : pycharm Python 版本：python2.7.13 4.1.2目标分析 目标：从百度词条 Python开始，以广度优先的方式，爬取相关联的若干词条网页的标题和 简介 （1） 初始 URL : /item/Python?sefr=ps （2） 词条页面 URL格式： /item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6 （3 ）数据格式：标题 dd class=lemmaWgt-lemmaTitle-titleh1Pyth on /h1 简介 div class=lemma-summary label-module=lemmaSummary （4）页面编码：utf-8 4.2爬虫运行流程分析 爬虫程序的运行流程如图