基于python的网络爬虫系统的设计与实现.docx

基于python的网络爬虫系统的设计与实现

摘要

随着互联网的发展，我们正处于数据信息暴涨的时代无论是对个人还是企业来说都是信息为王。“信息过载”、“信息模糊”是我们当前所面临的问题，如今我们可以在短时间内获取成千上万条信息，但是如何快速地在大量数据中获得自身所需要的，正是我们所要解决的问题。网络爬虫近年来热度不断上升，但其实网络搜索引擎出现时网络爬虫技术已经存在，显然传统的传统的搜索引擎给我们带来的信息已经满足不了我们。因此，网络爬虫以及数据挖掘成为了当下的热门研究方向。

本课题主要任务是使用Python语言开发设计一款基于网络爬虫的电商书籍爬虫系统。系统采用了应用较为广泛的网络爬