网络爬虫论文答辩PPT.pptxVIP

网络爬虫·论文辩论

定向爬取•脚本之家•文本信息

辩论学生：包志英指导老师：赵中英

目录1课题综述4研究过程

CONTENTS

2目前现状5研究结论

3研究目标6参考文献

目录页

PARTONE

绪论

选题背景及意义

选题背景

网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可

以定向采集某些网站下的特定信息，如文章信息，租房信息等。本文通过python实现了一个基于构造URL地

址的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：如何构造URL地址；为何要实现多线程，

以及如何利用scrapy；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某

一