爬虫技术总结：反爬策略与求模块使用.pdfVIP

Day03回顾

目前反爬总结

基于User-Agent反爬

1、发送请求携带请求头:headers={User-Agent:Mozilla/5.0xxxxxx}

2、多个请求随机切换User-Agent

1、定义列表存放大量User-Agent，使用random.choice()每次随机选择

2、定义py文件存放大量User-Agent，使用random.choice()每次随机选择

3、使用fake_useragent每次随机生成User-Agent

响应内容前端做处理反爬

11、html页面中可匹配出内容，程序中匹配结果为空

32、如果数据出不来可考虑更换IE的User-Agent尝试，数据返回最

基于IP反爬

1控制爬取速度，每爬取页面后随机休眠一定时间，再继续爬取下一个页面

请求模块总结

urllib库使用流程

request=urllib.request.Requ