集团大数据平台系统配置方案.pdfVIP

集团大数据平台系统配置方 1.1硬件系统配置建议 1.1.1基础 Hadoop平台集群配置规划 根据此次大数据平台的建设要求，大数据平台需要满足全 量 3PB数据的存储要求，根据数据的特点，大概 30%为结 构化数据，70%为非结构化数据，并以此进行估算。其中： 1）结构化数据的数据量为： 3PB*30%=0.9PB=922TB （结构化数据全部进入数据 仓库） 对于结构化数据存储容量要求为： 922TB*(3+1+0.5)/3*1.3=1798TB 注：对结构化数据，采用3倍副本冗余存储，1倍中间结 果余留，0.5倍索引存储空间，3倍数据压缩，0.3倍空间余 留。 2）非结构化数据的数据量为： 3PB*70%=2.1PB=2151TB 对于非结构化数据存储要求为： 2151TB*3=6453TB 非结构化数据采用3倍副本冗余存储。 3 ）全量数据存储容量要求为： 1798TB （结构化数据） +6453TB （非结构化数据） =8251TB DataNode 单 节 点 存 储 容 量 推 荐 配 置 为 ： 4TB*12=48TB 基 础 Hadoop 平 台 DataNode 节 点 数 为 ： 8251TB/48TB=172节点 因此，DataNode 服务器推荐配置为： 表 10-1 推荐配置 服务器 推荐配置及说明 节点数量 172 个节点 CPU 两路 8 核处理器 E5-2650 v3 或以上 内存 128GB ECCDDR4 2 个 600G 的 SAS 硬盘，15000RPM ，RAID1 ， 作为系统盘 硬盘 12 个 4TB 的 SATA 硬盘，7200RPM ，不做 RAID1 网络 双电口万兆（10Gbps ）以太网卡 另外：对于此次搭建的大规模 Hadoop 集群，需要单独 规 划 Zookeeper 9 个 节 点 ，NameNode 2 个 节 点 ， Resource Manager 2 个节点， HMaster 5 个节点，总共 9+2+2+5=18 个节点 综上所述，基础 Had p 平台节点规模如下： 表 10-2 节点规模 角色 节点数量 功能简述 （X86 服务器 数量） DataNode 172 存储/计算节点 NameNode 2 管理节点 Z keeper 9 Had p 分布式系统中的高 可靠的协调系统 Resource 2 负责集群中所有资源的统一 Manager 管理和分配 HMaster 5 为 Region Server 分 配 region 负责 Region Server 的负载均衡 总共 190 针对 NameNode ，Z keeper ，R