Python网络爬虫与信息提取-网络爬虫的盗亦有道.pptx

“ ” WS02 嵩天 robots.txt 网络爬虫排除标准 Requests 自动爬取HTML页面 自动网络请求提交 The Website is the API … 掌握定向网络数据爬取和网页解析的基本能力 网络爬虫与信息提取 O4X -Tian 爬取网页 玩转网页 爬取全网 爬取网站 爬取系列网站 小规模，数据量小 爬取速度不敏感 Requests库 中规模，数据规模较大 爬取速度敏感 Scrapy库 大规模，搜索引擎 爬取速度关键 定制开发 90% Web服务器默认接收人类访问 受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销 服务器上的数据有产权归属 网络爬虫获取数据后牟利将带来法律风险 网络爬虫可能具备突破简单访问控制的能力，获得被保护数据 从而泄露个人隐私 性能骚扰 法律风险 隐私泄露 来源审查：判断User‐Agent进行限制 检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问 发布公告：Robots协议 告知所有爬虫网站的爬取策略，要求爬虫遵守 Robots Exclusion Standard，网络爬虫排除标准 作用： 网站告知网络爬虫哪些页面可以抓取，哪些不行 形式： 在网站根目录下的robots.txt文件 /robots.txt User‐agent: * Disallow: /?* Disallow: /pop/*.html Disallow: /pinpai/*.html?* User‐agent: EtaoSpider Disallow: / User‐agent: HuihuiSpider Disallow: / User‐agent: GwdangSpider Disallow: / User‐agent: WochachaSpider Disallow: / # 注释，*代表所有，/代表根目录 User‐agent: * Disallow: / Robots协议基本语法 /robots.txt /robots.txt /robots.txt /robots.txt /robots.txt （无robots协议） 实际操作中，该如何遵守Robots协议？ 网络爬虫： 自动或人工识别robots.txt，再进行内容爬取 约束性： Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险 爬取网页 玩转网页 爬取全网 爬取网站 爬取系列网站 访问量很小：可以遵守 访问量较大：建议遵守 非商业且偶尔：建议遵守 商业利益：必须遵守 必须遵守 原则：类人行为可不参考Robots协议 Robots协议的使用原则 # 注释，*代表所有，/代表根目录 User‐agent: * Disallow: / Robots协议基本语法