《Python程序设计》课件——认识网络爬虫.pdfVIP

信息的采集

人力

P

网络爬虫定义

Y

T

网络爬虫的分类

H

网络爬虫爬取网页的流程O

N

网络爬虫定义

从互联网抓取网站数据

网络爬虫

将网站镜像保存在本地

产生的背景

为大众提供信息检索

网络爬虫定义

数据宝贵的财富

网络爬虫定义

宝贵的财富

数据对海量的数据进行分析

能够产生极大的商业价值

网络爬虫定义

Ø进行数据分析与挖掘来发现和预测问题

Ø更好的解决公司与用户之间的各种问题

数据

挽留更多的用户

宝贵的财富文章新闻商品视频

网络爬虫定义

搜索引擎个人单位

爬虫技术应运而生，并迅速发展成为一门成熟的技术。

网络爬虫定义

Python网络爬虫

网络爬虫又称为网页蜘蛛、网络机器人，

是一种按照一定的规则，自动地抓取万维网信息

的程序或脚本。

网络爬虫的分类

通用爬虫聚焦爬虫

网络爬虫的分类

通用爬虫又称全网爬虫，其爬取的目标资源在全互联网中。

爬取范围和数量巨大

通用爬取速度和存储空间采用并行工作方式

爬虫要求较高

爬取页面的顺序要求

相对较低

适用于为搜索引擎搜索广泛的主题，有较强的应用价值。

网络爬虫的分类

又称