构建下一代移动大数据平台.pdf

构建新⼀代移动⼤数据平台 TalkingData 2015.9.17 2011-2015 © TalkingD 移动互联⺴⼤数据特点 • 移动互联⺴⼤数据的4V • Volume 随时随地都在产⽣数据，数据量更⼤ • Variety 随时随地联⺴的特性，使得移动互联⺴的数据更具有多样性。在移动侧可以有更为精准的位 置数据，各种传感器数据。 • Velocity 对速度处理的要求性更⾼，很多的业务场景需要更实时的数据处理才能使得数据产⽣价值。 • Value 更多⾼价值的数据产⽣ • 万物皆可联⺴，数据⽅便⼈的⽣活 • IOT逐渐成为现实，万物都在贡献数据 • 各种智能硬件逐渐普及 9/19/15 传统的⼤数据平台 • 统计分析为主 • 宏观分析为主 9/19/15 2011-2015 © TalkingD 我们早期的架构 9/19/15 2011-2015 © TalkingD 我们早期的架构 9/19/15 2011-2015 © TalkingD ⾯临的挑战 • ⾯向统计分析⽽⽣，不适合新的数据探索业务 • 针对特定业务⽽开发，竖井太多 • 很多能⼒没有服务化，重复建设 Game App Analytics AdTracking DMP Insight Analytics •SDK •SDK •SDK •Data Store •Data Store •Collector •Collector •Collector •Compute •Compute •Data Store •Data Store •Data Store •Service •Service •Compute •Compute •Compute •Service •Service •Service 9/19/15 2011-2015 © TalkingD 新⼀代数据平台的需求 • 统⼀的平台 • 智能的平台 • 协作的平台 • 数据探索的平台 • 微观分析的平台 • 透明的平台 9/19/15 2011-2015 © TalkingD 构建TD新⼀代数据平台 • 整合多产品线的基础服务 • 统⼀存储 • 统⼀计算 • 统⼀数据总线 • 统⼀数据挖掘 • 统⼀视觉呈现 • 统⼀数据收集 • 统⼀SDK • 统⼀监控和管理 • 更好的⽔平扩展能⼒ • 提供更灵活⾼效的技术⽀撑 • 产品能迭代速度更快 • 研究成果加速流动 9/19/15 2011-2015 © TalkingD 新的系统架构 9/19/15 2011-2015 © TalkingD 统⼀SDK • 统⼀SDK • 新的统⼀的数据收取框架 • 业务层和基础层分离 • ⾮阻塞模式 • 处理各种异常 • ⾼效存储格式 • 数据收集智能化（灵动分