《Python网络爬虫技术案例教程》PPT课件（共10单元）六单元模拟登录和处理验证码.pptxVIP

模拟登录和处理 验证码;本章导读;学习目标;;Session会话机制的过程为：;requests库中的session对象可以模拟登录并自动更新Cookie，实现保持登录，常用的方法和属性如表6-1所示。; 爬取用户登录状态下豆瓣网站内容，输出爬取到的账号信息。;【问题分析】;【问题分析】;登录豆瓣网站后，单击“读书”按钮，打开豆瓣读书页面，在开发者工具窗口中选择“”选项，即可显示HTTP请求的URL（即为url参数），如图6-3所示。可以看出，与登录请求头中的“Cookie”相比，该请求头中的“Cookie”包含登录信息。;（3）创建一个session对象，设置headers和cookies属性，发送登录豆瓣网的请求后，发送访问豆瓣读书的请求，然后解析返回的网页内容，获取账号信息。;目前，许多网站采取各种各样的措施来反爬虫，其中最常用的措施是使用验证码。 常见的验证码有图片验证码、点触验证码和滑动拼图验证码等。;识别图片验证码通常使用图像识别技术。这种技术称为光学字符识别（Optical Character Recognition，OCR），它通过检测暗、亮的模式确定其形状，然后使用字符识别方法将形状翻译成计算机文字。而在识别过程中，一些图片存在多余线条的干扰，需要对图片进行灰度和二值化处理，以提高图片的识别率。 图片验证码的识别思路如下：;pytesseract库是Python的一个OCR识别库，但其实是对Tesseract做了一层Python API封装。因此，在安装pytesseract库之前，需要先安装Tesseract-OCR。;6.2 处理验证码;6.2 处理验证码;识别大图网登录页面的图片验证码，显示原图、灰度图和二值图，输出识别出的相应图片的验证码字符串和提取的验证码。;（2）获取图片后，调用convert(L)方法将图像转换成灰度图像。;详情见P155~P156;点触验证码是给出一张复杂的图片，根据图片上的指示进行点击即可完成验证。例如，哔哩哔哩登录页面的点触验证码（见图6-14），中国铁路12306登录页面的点触验证码如图6-15所示。;图6-14中是依次点击图中文字，顺序正确则验证成功； 图6-15中是点击图中所有符合要求的图，所有答案都正确，验证才会成功。 这两种情况都需要获取点击的位置坐标，此时，可通过第三方收费的接口（如超??鹰网站）来实现。;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;6.2 处理验证码;THANK YOU