1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 办公文档
  5. 事务文书

陈仕明：迅雷数据平台建设及应用案例.pdfVIP

  • 10
  • 0
  • 约2.51千字
  • 约 16页
  • 2017-08-26 发布于广东
  • 举报

陈仕明：迅雷数据平台建设及应用案例.pdf

    迅雷数据平台建设 及应用案例 陈仕明 迅雷基础研发数据平台 目录 • 迅雷的大数据架构 • 应用案例简介 迅雷数据平台规模 规模： 负载： 服务器：500+ 每天计算任务6K+ CPU ：4000+ 每天IO扫描100T+ 存储：20P+ 存储消耗75% 磁盘：3000+ CPU平均消耗60% 整体技术架构 开源社区+ 自主研发 系统介绍 • 离线采集Xrsync – 同步：采用rsync，数据从业务服务器同步到中转服务 集群，然后再加载到HDFS。该过程中

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >