PB级海量数据服务平台架构设计实践_光环大数据培训.pdfVIP

光环大数据--大数据培训知名品牌 PB 级海量数据服务平台架构设计实践_光环大数据培训 光环大数据培训机构，基于PB 级海量数据实现数据服务平台，需要从各个不同 的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面 进行了架构实践，下面分别从这三个方面进行详细分析讨论： 实践背景 该数据服务平台架构设计之初，实践的背景可以从三个维度来进行说明：当前现 状、业务需求、架构需求，分别如下所示： 当前现状 收集了当前已有数据、分工、团队的一些基本情况，如下所示：  数据收集和基础数据加工有专门的Team 在做，我们是基于收集后并进行 过初步加工的基础数据，结合不同行业针对特定数据的需求进行二次加工 的。  数据二次加工，会集成基础数据之外的其它有业务属性的数据，比如引入 第三方POI 数据等。  原始数据每天增量大约30~40TB 左右。  计算集群采用Spark on YARN 部署模式，大约400 个节点。  所有数据各种属性、行为信息，都是围绕大约40 亿的移动设备ID 进行很 多倍膨胀，比如每