一种可视化爬虫技术的分享.pdfVIP

一种可视化爬虫技术的分享 石恩名 shikanon@ 广州优亿科技有限公司 Background More... Demand We need... Demand • Simple • Convenient • Stable • High performance Technology Stack 前端 技术栈 后端 技术栈 Crawler • Scheduler: • Bloom filter • Fetcher: • Tornado、PhantomJS • DownloaderMiddleware: • Proxy 、Cookies、User-Agent • Processor: • ParserModel、cx-extractor • Database: • Redis、MongoDB Crawler Visual Logic • Start URL (入口) • Parser Config (解析规则文件) • Crawler Config (采集周期、JS模拟、Cookies等) ParserModel • 常见的Web 开发模 式：MVC、MVP、MTV 、MVVM 爬 虫解析模块 抽取 网页数据 获取model层数据 Web 开发的逆向工程 ParserModel • 自古爬 虫和Web 开发是一家... ParserModel ParserModel • URL Filter • regular match 、HTML DOM Similarity • Parse Data • CSS selector 、XPath parser 、regular match expression 、character slice、 text extractor... • Parse Outlink • CSS selector 、XPath parser 、URL normalization 、Javascript extractor URL Filter Django路 由规则 匹配 一个逆向的MVC框架... 逆向 http :///story/\d+ URL Filter 基于HTML DOM结构树的相似性判别 Parse Data • lxml • PyQuery • Thrift • cx-extractor (Java) • SelectorGadget (j avascript插件) Parse Data Parse Outlink • lxml • PyQuery • werkzeug Prospect • URL Filter • 机器学习：通过选择两个页面，计算HTML DOM相似度，再通过多 个相似页面计算URL正则表达式，构建判别器。 Prospect • Parse Outlink • 桌面插件：通过对浏览器Hooking截获j avascript执行代码块。