webmagic.pptVIP

Web爬虫那些事 屌丝玩开源系列之二 黄亿华 什么是爬虫 下载页面，获取内容 用途 搜索引擎 丰富业务数据 数据分析 审核 自动化测试 从“博客搬家”开始 流程代码 数量越来越多 每个站点重写一遍！ 开发/测试/debug... 一天以上的开发时间 50多家博客支持 更新维护的成本 不成熟的尝试 BlogTransfer FrameWork (in Diandian) JSON config，动态发布 开发量：一天=半小时 扩展性差 代码难以维护(当时水平不行！) 思考: 何为框架？ 何为框架？ 程序 = 数据结构+算法 算法 = 逻辑+控制 框架：处理控制，让应用只关心逻辑 我的理解： 框架：对领域业务做抽象，封装公共部分，暴露易变逻辑 一年之后，重写 第一理念：模块化 参考Scrapy Downloader/Scheduler/Spiders/ItemPipeline 第二理念：高度可定制 面向接口 第三理念：站在巨人的肩膀上 运用已有工具 爬虫的生命周期 页面下载 Url发现/过滤/管理 抽取数据 持久化 流程抽象 爬虫的生命周期 页面下载 Url发现/过滤/管理 抽取数据 持久化 页面下载 模拟http请求 模拟http头 Referer/User-Agent/Cookie 连接复用/长连接 gzip 页面下载-工具 URLConnection jsoup HttpClient 页面下载-动态渲染 JS渲染的页面，纯Html无能为力 通过ajax抓数据 模拟浏览器 selenium phantomjs 页面下载-黑魔法 页面下载-黑魔法 突破反抓取 伪造一切能伪造的 模拟http头 Referer/User-Agent/Cookie Oh no! 页面下载-黑魔法 知己知彼 如何判断 用浏览器访问... 403/验证码/错误页面 页面下载-黑魔法 换IP 成本最低的-ISP自动拨号... 大量代理-TOR 黑魔法-工具 WiredShark Now you have MockSocksTM@me 爬虫的生命周期 页面下载 URL发现/过滤/管理 抽取数据 持久化 抓取页面管理 管理什么？ 待抓取队列 已抓取集合 抓取页面管理 URL陷阱 simhash 海量url Bloom-Filter sharding 爬虫的生命周期 页面下载 URL发现/过滤/管理 抽取数据 持久化 数据抽取 HTML=结构化数据 正则表达式 XPath CSS Selector 数据抽取 工具 jsoup htmlcleaner saxon xpath2.0 xquery xlst... xoupTM@me 持久化 文件系统/关系数据库/nosql Pipeline WebMagic现状 /code4craft/webmagic 简单/多线程/分布式 便捷的API 已有多个公司在生产环境应用 下一步 WebMagic-Avalon 脚本化可传播 管理后台 脚本分享平台 脚本化 平台语言无关 JRubyRhino 管理后台 定时管理/配置 持久化 集群管理... 脚本分享平台 再也不用重复开发... 或许...还有盈利模式 心得 有想法就实现并分享出来 依靠社区的力量 Thanks! /code4craft/webmagic 好评就给个star吧！