Python程序设计现代方法第10章 网络爬虫.pptxVIP

第10章 网络爬虫爬虫爬取网页的流程抓取网页数据解析网页数据学习目标了解网络爬虫的概念及分类熟悉网络爬虫爬取网页的详细流程了解熟悉4123掌握抓取网页的过程，会使用requests抓取网页掌握掌握掌握解析网页的过程，会使用bs4解析网页数据目录10.410.310.110.510.2解析网页数据抓取网页数据网络爬虫概述实例12:龙港房地产爬虫爬虫爬取网页的流程?点击查看本节相关知识点?点击查看本节相关知识点知识架构10.3 爬取网页数据1浏览网页过程2使用requests模块抓取网页知识架构10.4 解析网页数据1网页数据结构分析2解析网页的过程和技术3使用Beautiful Soup 4解析网页数据10.1 网络爬虫概述什么是网络爬虫网络爬虫又称为网页蜘蛛、网络机器人，它是一种按照一定的规则自动地爬取万维网信息的程序或脚本。网络爬虫分类根据使用场景，网络爬虫可分为两种：通用爬虫（（Scalable Web Crawler），又称全网爬虫。聚焦爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler）。10.1 网络爬虫概述1.通用爬虫将爬取对象从一些种子 URL扩充到整个Web上的网站为门户站点搜索引擎和大型Web服务提供商采集数据爬取范围和数量巨大，要求高速、高存储空间，对爬取顺序要求较低通常采用并行工作方式2.聚焦爬虫选择性地爬取与预先定义好