[计算机软件及应用]分布式爬虫.pdfVIP

分布式爬虫 云峰 @fengyuncrawl 2011.12.10 提纲 • 全网爬虫和垂直爬虫 • 分布式框架 • 海量数据存储 • SSD作缓存和虚拟内存 • QA 2 通用爬虫 初始url（种子） 下载页面 解析 将抽取的内容保存 缺点： 1. 噪音多 2.信息密度低，无联系 3.结构简单化 深度爬虫 增加 1.link分析，网页权重计算 2.URL权重队列 四个困难： 1.高效算法去重（bloom filter） 2.表单验证（校验码）（OCR） 3,正文抽取（vips，dom特征计算和缓存） 4.Ajax如何解析(webkit) 深度爬虫架构 垂直爬虫 四大微博采集 api 500 200 新浪 受限，一次只能采集 粉丝，历史微博数据只能采集最新的 条 ip ip 前期被封 ，账号。用代理 采集（代理算法）目前这个方法也快撑不住了 “2 ” 如何实时采集微博（通过马甲），新浪有 亿 用户，如何能采集完，僵尸粉怎么过滤？ 登入的两种方式： 1.使用自动登录的方式获得网页内容。 2.使用cookie（人工申请）的方式获得网页内容。 采集是个持久战 近期在想新方法采集 实时微博搜索 1.社交网络的用户更新的状态信息，发表微 博，评论，转发等都依附于用户存在，通过 ID 用户 不同，把网络分为不同区域。 2.信息队列负责信息的过滤，分类，排序。 3.内存索引周期更新实时性很高的数据。 4.静态索引将内存索引的信息同步入磁盘， 毕竟内存容量有限。 5.用户界面提供数据的接口进行搜索与查看 疑问 1.系统越来越庞大，分散节点越来越多 2.不同模块，不同输入和输出，配置文件杂乱无章 3.重复工作很多 分布式爬虫 主从架构 ( ) 1.主从结构，爬行控制器和终端 2.控制器控制(master)全部爬行器 同步和终止命令 3.终端(slave)负责信息的采集， 将拓扑信息反馈控制器 中间件 1.主控和搜集之间使用中间件链接 2.高性能，可扩展 3.中间件提供api可以让系统人员 尽量将注意力放应用层上，避免底 层通信接口的编写繁琐工作 缺点：各抓取进程之间是独立的， master会成为系统的性能瓶颈 疑问 海量数据如何存储 海量数据存储 1.memcached+redis+mysql,分级存储 2.Hadoop分布式存储 3.mongodb集群 4.fastdb，voltdb实时内存分布式数据库+海量存储 分级存储 1.根据时间维度划分数据表（冷热） 2.存储同时也是缓存（一级，二级...） 举例： memcached+redis+mysql 缺点：一致性不能保证，只能实现最终一 致性 Hadoop分布式存储（大文件） 1.适合大文件分块存储，每块64块， 冗余存储 2.分块持久化2种方法： 每个分块单独存储一个文件，用文 件名做索引键号。 将属于同一大文件的分块存储为 一个文件，利用调度，将文