《Python网络爬虫》 课件 第4单元-反爬虫策略及解决办法.pptx

Python网络爬虫第四单元反爬虫策略及解决办法

教学概述概述在第二部分的相关知识点：Requests的相关技术介绍的同时，向大家同步阐述了爬虫过程中常见的难题，也就是反爬虫。我们先来认知一下爬虫和反爬虫的对比和历史。?爬虫：自动获取网站数据的程序，常伴随批量的获取。?反爬虫：使用技术手段防止爬虫程序的方法。反爬虫的最终目的是：数据保护。因为伴随着爬虫程序的运行，会造成：?粗暴爬取，服务器压力过大，网站瘫痪。?爬虫失控，演变成服务器攻击。商业数据泄露，竞争能力流失等

教学概述教学导航知识重点反爬虫策略之Headers、Cookies、Proxies，Tesseract安装与配置和Pytesseract应用。知识难点Pytesseract应用。推荐教学方式从学习情境任务书入手，通过对任务的解读，引导思维获取信息，引导学生制作工作计划；根据标准工作流程，调整学生计划并提出决策方案；通过对相关案例的实施演练让学生掌握任务的实现流程及技能。建议学时8学时推荐学习方法根据任务要求获取信息，制定工作计划；根据教师演示，动手实践完成工作实施，掌握任务实现的流程与技能；并进行课后的自我评价与扩展思考。必须掌握的理论知识反爬虫策略之Headers、Cookies及Pytesseract应用。必须掌握的技能使用Headers模拟浏览器操作；使用Cookies记录身份信息。安装Tesseract软件；使用Pytesseract识别验证码。

第四单元反爬虫策略及解决办法0304反爬虫的三大策略输入式、行为式、智能三大验证码Tesseract使用Pytesseract有效识别输入式验证码0102

情境一：常见反爬虫策略及解决办法010302情景概述知识准备总结

PART01情境概述情境一：常见反爬虫策略及解决办法

情境概述学习情境描述1.教学情境描述：根据自我网络爬虫技术的学习，总结归纳出所遇见的反爬虫策略以及自己是如何解决它的。并结合老师或其他资料完善自己对反爬虫策略及技术的认知，完善反爬虫策略体系，并针对反爬虫策略构思对应的解决办法。2.关键知识点：反爬虫策略之Headers、反爬虫策略之Cookies、反爬虫策略之Proxies。3.关键技能点：使用Headers模拟浏览器操作、使用Cookies记录身份信息。情境一：常见反爬虫策略及解决办法

情境概述本节课的学习目标了解常见的反爬虫策略。掌握常见反爬虫策略的解决办法。掌握学习新型反爬虫技术能力。掌握学习和思考新型反爬虫解决方案。情境一：常见反爬虫策略及解决办法

PART02知识准备情境一：常见反爬虫策略及解决办法

知识准备引导问题了解什么是反爬虫策略。你都遇到过哪些反爬虫策略？你还知道哪些反爬虫策略？对你遇到的反爬虫策略，你是如何处理的？对你没遇见过的反爬虫策略，你准备如何处理？情境一：常见反爬虫策略及解决办法

知识准备知识点介绍反爬虫策略之Headers反爬虫策略之Cookie反爬虫策略之Proxies情境一：常见反爬虫策略及解决办法

知识准备思维导图情境一：常见反爬虫策略及解决办法

知识准备反爬虫策略之HeadersHeaders是指网络请求的头部信息，也就是网络请求过程中所携带的描述信息，允许您对HTTP请求和响应头执行各种操作。Headers中常见字段有：Accept、Accept-Encoding、Accept-Language、Content-Type、Connection、User-Agent、Host、Referer、Cookie等。基于Headers的反爬虫策略常见的为：根据User-Agent识别浏览器行为；根据Cookie识别用户信息；根据Referer识别链路、根据Content-Type识别数据类型。以下我们针对User-Agent和Referer进行处理（其中Cookie单独讲解，此处不做处理；Content-Type是服务器进行