原创力文档- 1、本文档共12页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
网络爬虫简介
爬虫与反爬技术
目录
爬虫技术
数据采集流程
网页分析
动态页面抓取
可视化爬虫
爬虫框架
案例
反爬技术
反爬技术及解决方案
前言
robots.txt: Robots协议被称为爬虫协议，或机器人协议。是国际互联网界通行的道德规范。
User-agent:用于描述搜索引擎robot的名字;
Disallow:禁止robot访问该网站的目录或文件;
Allow:允许robot访问该网站的目录或文件;
sitemap.xml/txt/html/..: Sitemaps协议使网站能够告知搜索引擎网站中可供抓取的网址。
自动生成:更方便地了解一个网站的内容、布局、架构。
主动提交:向百度、Google、雅虎、和微软等提交，被搜索引擎收录。
数据采集流程
需求分析：业务类型/方向决定抓取策略和抓取频率。（干什么用）
抓取内容：具体需要什么数据/字段。（怎么用）
数据来源：数据来源于具体网站或其他。
抓取方式：获取数据的方式、网页结构分析、API等。
代码实现：自定义或开源爬虫框架。
数据清洗：根据业务具体情况转换数据格式、类型，进行数据计算等。数据清洗分为入库前点清洗和入库后点清洗。
数据存储：写文件或入库方式，远程数据入库，数据加密等。
爬虫任务分发：分布式爬虫、多线程爬虫。
反爬策略、日志管理、监控报警等。
网页分析
数据抓取方式
网页
移动网页
移动客户端
API
网页解析
正则
Xpath
Beautiful Soup
Json格式解析
网页编码
动态页面抓取
JS渲染页面
Web kit
Render类
Ajax请求
Iframe
Selenium库
重定向
Status_code
Html meta 的refresh
js
可视化爬虫
Import.io
Portia
八爪鱼
集搜客
造数
BBD
爬虫框架
Scrapy框架：
案例1：58同城-简历中心
url：/qzzpshengchankaifa/?key=%E7%AE%80%E5%8E%86%E4%B8%AD%E5%BF%83
案例2：阿里巴巴-搜索
url：/offer_search/-cee4baeec7f8.html
Set-Cookie
_csrf
反爬技术
User_agent判断来源
根据IP访问频率判断，封锁IP或者账号
验证码识别
Pillow库
Tesseract库
Numpy
机器学习
根据实际成本制定策略
频繁变更网页结构
非正常请求提供虚假信息（隐含输入字段或缺失参数）
谢谢!
2018.01.01
文档评论（0）