百度系统部分布式系统.pdf

百度系统部分布式系统介绍 马如悦 2010.08.27 主要内容 • 百度的数字 • 计算平台 – HPC – DC • 存储平台 – DFS – DOS • 数据平台(?) 百度的数字 • HPC - 高性能计算 – 200左右，8 core, 16GB~64GB • DC - MapReduce计算 – 10个集群，共4000 台 – 8core，16GB，12*1TB – 最大集群1000台 – 每日计算量2.5PB – 每日作业数3w • DS - 分布式存储 – 使用容量平均70% 计算平台 算法描述层 表示层SQL-like Classification Regression 应用 应用 Map-Reduce DAG 矢量计算 Clustering 模型 模型 执行层（HPC scheduler agent) 执行层（DC scheduler agent) 通讯密集型-大规模HPC机群 数据计算密集型-大规模分布式计算机群 计算资源管理层—调度不同类型计算的agent HPC • 单机HPC – Multicore – GPU – FPGA • 多机HPC – MPI • 机器学习算法服务 – 单机HPC+多机HPC+MapReduce • 应用 – 商务搜索、Baidu News DC • Abaci = Hadoop-MapRed+ 自主系统 • 表示层 – DISQL (to appear in Hadoop in China 2010) • 调度层 – Master+Agent – workflow元调度(in Master) – 数据分发服务(in Agent): shuffle，bt文件分发 – 分布式Master • 计算层 – Streaming - 文本处理 – Bistreaming - 二进制处理 – HCE - C++编程接口 – DC-HCE-介绍 • Hadoop C++ Extension • Jira: MapReduce-1270 – /jira/browse/MAPREDUCE- 1270 – Design Doc – Patch – Demo package – Install Manual – Tutorial – Performance Test Doc DC-HCE-背景 • Why not Pipes, Bistreaming • Java语言效率: 提升10%~40% – sort, compress/decompress • Java 内存控制 • Full featured C++ API DC-HCE-Design HDFS