大数据平台架构与建设思路.pptxVIP

大数据平台架构及建设思路;;什么是大数据;运营商对大数据的理解;中国移动数据分布;运营商大数据运用;;大数据具备数据量大、数据类型多、数据处理速度要求高和价值密度低的特点，传统分析系统架构（RDBMS +小型机+ 高端阵列模式）下，传统数据库无法支撑海量数据（如100TB以上，性能下降）、非结构化数据，现有IOE的架构无法线性扩展且成本高昂。;大数据三大技术比较;中国移动大数据目标架构;;建设思路;中国移动大数据平台架构;建设重点1——与其他分析型平台关系;;建设重点2——制定数据治理规则;建设重点3——HADOOP服务器测算模型;1、HADOOP集群互联带宽需求： 跨机房：点对点的带宽≈机房间互联带宽/节点数 Hadoop集群的NameNode节点不支持跨机房部署，DataNode节点跨机房部署时，机房间的互联电路为关键电路，承载两机房间各数据节点间通信。若互联电路故障时，则会导致集群不可用。;2、HADOOP集群互联延迟需求： 为保证数据节点间数据同步，HADOOP集群内节点间延迟要求小于1毫秒(业界公认指标)，若延迟大于1毫秒，会出现数据同步出错情形。;谢谢