百度第三代Spider背后的万亿量级实时数据处理系统-Yeolar.PDFVIP

百度第三代Spider背后的 万亿量级实时数据处理系统 颜世光 百度 架构师 个人介绍 •颜世光, 百度搜索基础架构技术负责人 •代表作品 • 百度第三代Spider系统 • 百度文件系统 BFS • 集群调度系统 Galaxy • 海量实时数据库Tera • 个人主页 Blog微信 • /bluebore • 演讲题目 姓名 大 纲 搜索引擎与Spider3.0 Tera的模型与架构 系统构建中的经验与教训 未来工作 互联网与搜索引擎 Internet 搜 索 引 擎 搜索引擎与Spider Internet 搜 索 引 擎 Spider PageRank 正排计算 倒排计算 检索系统 快速、全面地采集全网数据 中文互联网与百度Spider • 网页总数: 100万亿 • 有价值网页: 10万亿 • 每天新增: 100亿 • 超链接数: 120 条/ 网页 • Spider每天处理提链: 100亿 * 120 = 1.2万亿条 Hadoop时代的百度Spider 页面 抓取 网页库 解析 调度 挖掘 回灌 入库 (MR) (MR) (MR) (MR) 超链库 (HDFS) Hadoop的问题 • 线性扩展问题 • 1000亿链接处理 - 500台服务器 • 10万亿链接处理 - 5万台 • 解决：必须增量处理 • 时效性问题 • 近10轮MR过程，耗时两天 • 解决：必须流式处理 百度第三代Spider 流式计算系统 页面 链接 调度 抓取 挖掘 解析 打分 海量数据库Tera （超链、网页、DNS、策略词典） 实时处理的核心 •数据是本质 • 来源是数据 • 产出也是数据 • 中间状态 • 一条新链接的价值谁说了算? • 站点路径深度 • 前链锚文本 • 一张网页变化 • 触发上百条链接属性更新 Spider3.0的实时数据处理 • 全量数据 ~10万亿条 ~100PB • 每一条随时都可能更新 • 每天新抓网页 100亿 • 触发1万亿条链接更新 • 每秒属性更新 ~1亿次 • 随机读随机写 • 全局调度 • 站点主域压力受控 • 虚拟主机运营商压力受控 我们的解决方案 • 海量实时数据库Te