百度私有云建设和开发部分云端服务(肖伟).pdfVIP

百度云计算介绍 百度云计算架构师 肖伟 xiaowei@ 百度内部系统架构 搜索 广告 社区 业务 云平台 数据智能 云 软件基础架构 计 海量数据存储与处理 算 数据中心、网络、服务器 硬件基础架构 百度内部云特点 快速迭代 超大规模 快速迭代特征 算法A 算法B 算法B 通过反馈来验证算法优劣 离线 在线 离线分析与在线实验相结合 互联网对快速迭代的需求 数据收集 A/B测试 数据智能 部署 快速开发 测试 运维 原型 系统 产品 开发 应用 应用 框架 引擎 引擎 验证 数据分析 ü 产品开发全过程 ü 方法论+流程+平台 超大规模特征 •  海量数据存储 百P •  大规模数据计算 大规模计算 表示层 SQL-like 描述能力 翻译 模型层 Map Reduce Join Select Top 数据流优化 B 控制流管理 A D C 执行层 资源分配 优先级、并发控制 隔离、安全 计算类型 Map Reduce •  通用批量数据处理 HPC •  大规模机器学