精通Python网络爬虫：核心技术、框架与项目实战.pptxVIP

精通Python网络爬虫：核心技术、框架与项目实战读书笔记模板

01思维导图读书笔记目录分析内容摘要精彩摘录作者介绍目录0305020406

思维导图

爬虫核心技术爬虫网络项目数据时代学习爬虫小结实战第章网络项目网页实例技术初识模拟本书关键字分析思维导图

内容摘要

内容摘要随着大数据时代的到来，我们经常需要在海量数据的互联环境中搜集一些特定的数据并对其进行分析，我们可以使用络爬虫对这些特定的数据进行爬取，并对一些无关的数据进行过滤，将目标数据筛选出来。对特定的数据进行爬取的爬虫，我们将其称为聚焦络爬虫。在大数据时代，聚焦络爬虫的应用需求越来越大。本书从系统化的视角，为那些想学习Python络爬虫或者正在研究Python络爬虫的朋友们提供了一个全面的参考，让读者可以系统地学习Python络爬虫的方方面面，在理解并掌握了本书的实例之后，能够独立编写出自己的Python络爬虫项目，并且能够胜任Python络爬虫工程师相关岗位的工作。

读书笔记

读书笔记总的来说还行，知识点不深，适合初学者，比较好理解，有经验的同学可以直接跳过。理论知识讲解比较少，更偏重实践，适合需要快速上手的人，深度还有些欠缺。大致了解了怎样构建一个以scrapy为框架的爬虫，比较基础，未涉及深层原理，适合新手了解。一般般吧，只能做入门书，粗略的过了一遍，感觉大多都已了解。大章开头一些类似概括性的陈述看着挺像回事但具体到各小章节包括具体代码实在差得一塌糊涂看得一言难尽。很实用的一本书，不仅介绍了爬虫的原理，还简明扼要地介绍了正则表达式匹配等技术细节，非常值得读一读。概念性介绍，比较浅显易懂，后续章节scrapy讲得较多。这是一本很不错的适合新手入门的书，但是想精通很难，介绍过于浅显，而案例也太过简单，与其说实战，不如说是demo，或者helloworld。虽然已经读完一遍，而且和b站上的一个视频感觉是配套的。

精彩摘录

精彩摘录通用络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等构成。通用络爬虫在爬行的时候会采取一定的爬行策略，主要有深度优先爬行策略和广度优先爬行策略。络爬虫由控制节点、爬虫节点、资源库构成。爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。常见的页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略等基于用户行为的页分析算法、基于络拓扑的页分析算法、基于页内容的页分析算法。对特定的数据进行爬取的爬虫，我们将其称为聚焦络爬虫一个页的反向链接数，指的是该页被其他页指向的次数，这个次数在一定程度上代表着该页被其他页的推荐次数。前者我们称为通用络爬虫，后者我们称为聚焦络爬虫。

目录分析

第2章络爬虫技能总览第1章什么是络爬虫第一篇理论基础篇

第1章什么是络爬虫1.1初识络爬虫1.2为什么要学络爬虫1.3络爬虫的组成1.4络爬虫的类型1.5爬虫扩展——聚焦爬虫1.6小结

第2章络爬虫技能总览2.1络爬虫技能总览图2.2搜索引擎核心2.3用户爬虫的那些事儿2.4小结

第3章络爬虫实现原理与实现技术第4章Urllib库与URLError异常处理第5章正则表达式与Cookie的使用第6章手写Python爬虫第二篇核心技术篇

第7章学会使用Fiddler第9章爬虫的定向爬取技术第8章爬虫的浏览器伪装技术第二篇核心技术篇

第3章络爬虫实现原理与实现技术3.1络爬虫实现原理详解3.2爬行策略3.3页更新策略3.4页分析算法3.5身份识别3.6络爬虫实现技术3.7实例——metaseeker3.8小结

第4章Urllib库与URLError异常处理4.1什么是Urllib库4.2快速使用Urllib爬取页4.3浏览器的模拟——Headers属性4.4超时设置4.5HTTP协议请求实战4.6代理服务器的设置4.7DebugLog实战4.8异常处理神器——URLError实战4.9小结

第5章正则表达式与Cookie的使用5.1什么是正则表达式5.2正则表达式基础知识5.3正则表达式常见函数5.4常见实例解析5.5什么是Cookie5.6Cookiejar实战精析5.7小结

第6章手写Python爬虫6.1图片爬虫实战6.2链接爬虫实战6.3糗事百科爬虫实战6.4爬虫实战6.5什么是多线程爬虫6.6多线程爬虫实战6.7小结

第7章学会使用Fiddler7.1什么是Fiddler7.2爬虫与Fiddler的关系7.3Fiddler的基本原理与基本界面7.4Fiddler捕获会话功能7.5使用QuickExec命令行7.6Fiddler断点功能7.7Fiddler会话查找功能7.8Fiddler的其他功能7.9小结

第8章爬虫的浏览器伪装技术8.1什么是浏览器伪装技术