基于python网络爬虫技术的数据采集系统的设计与实现.docxVIP

PAGE 1 基于python网络爬虫技术的数据采集系统的设计与实现 基于python网络爬虫技术的数据采集系统的设计与实现 摘 要 目前社会已经进入了大数据时代，伴随互联网的迅猛发展，种类繁多，数量庞大的数据随之产生，作为辅助人们检索信息工具的搜索引擎也存在着一定的局限性，在不同领域，背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题，网络爬虫系统应运而生。众所周知，搜索引擎从互联网中靶向性筛选出有用信息，而网络爬虫又是搜索引擎的基础构件之一。本文实现了一个基于python语言的网络爬虫，利用关键字匹配技术对目标网站进行扫描，得