集团大数据平台系统配置方案.doc

集团大数据平台系统配置方案 1.1硬件系统配置建议 1.1.1基础Hadoop 平台集群配置规划 根据此次大数据平台的建设要求， 大数据平台需要满足全 量3PB数据的存储要求，根据数据的特点，大概 30%为结 构化数据，70%为非结构化数据，并以此进行估算。其中： 1） 结构化数据的数据量为： 3PB*30%=0.9PB=922TB （结构化数据全部进入数据 仓库） 对于结构化数据存储容量要求为： 922TB*（3+1+0.5）/3*1.3=1798TB 注：对结构化数据，采用 3倍副本冗余存储，1倍中间结 果余留，0.5倍索引存储空间，3倍数据压缩，0.3倍空间余 留。 2） 非结构化数据的