pb级大数据集群云化与迁移.pdf

Pb级大数据集群云化与迁移 易观CTO 郭炜 本产品保密并受到版权法保护 Confidential and Protected by Copyright Laws 郭炜 易观 CTO 郭炜先生2015年加入易观，担任易观CTO ，构建易观技术 团队完成易观大数据采集、平台、数据挖掘等技术架构与 体系，从无到有完成易观混合云搭建、易观SDK升级并发 布易观秒算实时计算平台，目前易观大数据平台日处理数 据量30T ，200亿条，月活用户3.58亿。 郭炜先生毕业于北京大学，加入易观之前，曾任联想研究 院大数据总监，万达电商数据部总经理，并曾在中金、 IBM、Teradata公司担任大数据方向重要岗位，对大数据 前沿领域研究，包括视频、智能WIFI等大数据软硬数据一 体技术有独特的见解。 2017/5/9 实时分析驱动用户资产成长 2 以“精益创业“的理念修炼大数据平台 漏斗的转化 V.S. 实时Dashboard 2017/5/9 实时分析驱动用户资产成长 3 以“精益创业“的理念修炼大数据平台 • 最小化可行产品进行优化，而不是对其设定硬指标v.s. 决策层说 “我们要建设大数据项目“ • 与最终客户与业务保持同步v.s. “先有平台再加业务” • 业务闭环，并形成针对大数据的数据分析v.s. “管理层看到了Dashboard” • 增速/转型/创新——最大的挑战，在于企业文化的改变 PB级大数据集群云化与迁移 • 日处理10T 数据大 • 历史数据Pb级别 并发高 • 数据采集接口 平均78W-100W/s 连接请求 易观混合云迁 • 数据流式计算 移难点 架构 • 系统环境改变 大改 • 模型改变 系统 并行 • 原系统与新系统无缝切换 早期大数据架构 Tomcat Redis Java JDB Presto C R M Cassan HDFS . .