Python爬虫技术Day03:反爬策略应对与urllib库使用.pdf

Python爬虫技术Day03:反爬策略应对与urllib库使用.pdf

Day03回顾

目前反爬总结

基于User‑Agent反爬

1、发送请求携带请求头:headers={User‑Agent:Mozilla/5.0xxxxxx}2、多个请

求随机切换User‑Agent1、定义列表存放大量User‑Agent,使用random.choice()每

次随机选择2、定义py文件存放大量User‑Agent,使用random.choice()每次随机选

文档评论(0)

1亿VIP精品文档

相关文档