基于Python的网络爬虫设计与实现.docxVIP

基于Python的网络爬虫设计与实现 摘 要 近几年来，随着信息化时代的发展，“大数据”成为了当今社会的一个重要特征。互联网则是信息的主要载体，在当今社会成为了一个庞大的信息索取和信息交换中心。学会从互联网中获取信息，才能更好的跟上潮流发展。 网络爬虫则是互联网信息爬取的一个实用工具。它就像互联网上的一只蜘蛛，而网上的一个节点就相当于一个网页，节点与节点的相连关系相当于网页之间的联系。这样，爬虫即可通过互联网上的节点的联系来获取大量的数据。 本课题通过Python实现对前程无忧网站岗位信息的分布式爬虫程序，并据此阐述了网页HTTP解析、爬虫基本原理等知识。随后再对当前的职业形势进行简单