百度世界2011云计算论坛演讲稿：海量数据处理.pdfVIP

潜龙骄首志在凌云 云计算论坛 海量数据处理 徐串 百度基础架构部架构师 Baidu的数据处理 挑战与应对 未来展望 Baidu的数据 网页 广告 200PB 每天处理100PB 日志 100PB UGC 典型需求 统计分析 •报表 •模型训练 数据挖掘100PB •网页索引 复杂计算 •超链分析 计算类型 Volunteer MapReduce HPC Computing 100PB • 通用批量数据处 • 大规模机器学习 • 计算密集型上下 理 文无关数据处理 挑战与应对 - 集群规模 单集群10,000-100,000节点 挑战与应对 - 集群规模 1,000 – 5,000 算法优化 5,000 – 100,000 架构优化 100,000 跨集群调度 挑战与应对 -服务可用性 7 × 24 挑战与应对 - 集群规模 99.9% 双机热备+监控 99.99% Failover+热部署 挑战与应对 - 资源利用率 挑战与应对 - 资源利用率 时效性 优先级 资源需求 资源树 资源树 模型 模型 挑战与应对 - 资源利用率 Volunteer Computing 挑战与应对 -接口易用性 简单 挑战与应对 -接口易用性 并行数据处理语言 •类SQL •开发简单 •可统一优化 挑战与应对 -接口易用性 分布式向量计算引擎 •对机器学习算法的抽象 •解决容错问题 未来展望 平台统一化 计算实时化