1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 数据结构与算法

狗大数据平台架构重构.pdfVIP

  • 5
  • 0
  • 约6.65千字
  • 约 26页
  • 2019-01-12 发布于浙江
  • 举报

狗大数据平台架构重构.pdf

    酷狗大数据平台架构重构 王 劲 2015.12 目录 重构原因--原有架构 重构原因 • 数据收集接口众多，且数据格式混 数据采集 乱，基本每个业务都有自己的上报 接口 数据接入 • 直接从接入服务通过rsync同步文件 • 没有数据监控服务 数据清洗 •ETL集中在作业计算前进行处理 •存在重复清洗 作业调度 • 大部分作业通过crontab调度

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >