迅雷数据平台建设及应用案例.pdfVIP

迅雷数据平台建设 及应用案例 陈仕明 迅雷基础研发数据平台 目录 • 迅雷的大数据架构 • 应用案例简介 迅雷数据平台规模 规模： 负载： 服务器：500+ 每天计算任务6K+ CPU ：4000+ 每天IO扫描100T+ 存储：20P+ 存储消耗75% 磁盘：3000+ CPU平均消耗60% 整体技术架构 开源社区+ 自主研发 系统介绍 • 离线采集Xrsync – 同步：采用rsync，数据从业务服务器同步到中转服务 集群，然后再加载到HDFS。该过程中