存储能力详细方案设计-参考.docxVIP

Hadoop存储能力详细方案Hadoop采用HDFS作为其底层文件存储方式。HDFS是分布式文件系统，适合于存储大数据文件，通过将大数据文件切分成多个小数据文件，并且分散存放在多台DataNode服务器，同时提供数据冗余机制保证数据安全。本次Hadoop存储节点为：300台DataNode服务节点。存储数据安全及分配机制：采用3备份机制保证数据安全，同时为系统保留10%的临时数据交换空间，当数据量超过集群总容量的90%时，建议增加节点。存储总容量：300台数据节点，每个节点36T的磁盘容量，除去10%的临时数据交换空间，同时HDFS中一份数据存放着3份备份；最终存储容量公式如下可用存储容量=节点数*单节点磁盘容量*（1-临时数据交换空间比例）÷HDFS文件备份数量；即：可用存储容量=300×36×（1-10%）÷3=3240T；目录规划：针对不同的数据用途和支撑方式进行存储容量划分，存放在HDFS中的数据分为接口层，处理层，共享层。接口层主要为原始数据，处理层为存放在HDFS中数据经Hive映射之后数据，共享层为经数据深度沉淀之后存放在HBase中。接口层：总容量*50%处理层：总容量*30%共享层：总容量*20%Storm存储能力详细方案Storm流数据处理采用linux文件系统作为其存储，数据盘采用raid5保证数据安全。存储总容量为：30台服务器，每台36T，采用Raid5磁盘阵列之后，数据容量为原来的75%，并建议预留10%的空间；最终可用存储计算公式如下：可用存储容量=节点数*单节点磁盘容量*Raid5后的磁盘容量比例*（1-临时数据交换空间比例）；即：可用存储容量=30×36×75%×（1-10%）=729T；Redis存储能力详细方案Redis包含平台Redis内存数据库和前置Redis内存数据库，平台Redis内存数据库集群用于存放Storm处理后数据，对外提供低延迟数据服务；前置Redis内存数据库存放应用级数据对外提供服务。平台Redis内存数据库集群：集群通过一台路由服务器根据一套算法将表的Key值打算后分散存放到7个Redis Master服务器中，同时每一个Master节点对应一个Slave节点保证数据安全，通过路由服务器实现高可用。存储容量为：14台数据服务器，7个Master节点，对应7个Slave节点，每一节点内存为512G，为保证KV查询的高效性，建议预留30%的空间；最终可用存储计算公式如下：可用存储容量=节点数÷热备*单节点内存容量*（1-预留空间比例）；即：可用存储容量=14÷2×512×（1-30%）=2508.8G；前置Redis内存数据库：前置Redis内存数据库中，数据表分别分别存放在不同的节点，同时内存中数据定期备份到本地和远程磁盘，通过该方式在保证了数据安全的同时针对多租户的场景实现了资源隔离。存储容量为：前置数据服务器，每一节点内存为512G，为保证KV查询的高效性，建议预留30%的空间，最终可用存储计算公式如下：可用存储容量=节点数÷热备*单节点内存容量*（1-预留空间比例）；即：可用存储容量=4×512×（1-30%）=1433.6；Mysql存储能力详细方案Mysql关系型数据库存储放深度汇总模型数据，支撑能力封装组件，为上层应用提供数据服务器；其中支撑业务数据节点数为8台，管控数据节点数为2台。业务数据MySql数据库：Mysql服务器的数据存储将采用Raid5磁盘阵列划分，以满足数据安全及高可用性。服务器存储容量：8台MySql服务器，每台24T，采用Raid5磁盘阵列，存储量变为原来的75%；最终可用存储计算公式如下：可用存储容量=节点数*单节点存储容量*Raid5后的磁盘容量比例；即：可用存储容量=8×24×75% 单位/T管控数据MySql数据库：Mysql服务器的数据存储将采用Raid5磁盘阵列划分，以满足数据安全及高可用性。服务器存储容量：2台MySql服务器，每台24T，采用Raid5磁盘阵列，存储量变为原来的75%；最终可用存储计算公式如下：可用存储容量=节点数*单节点存储容量*Raid5后的磁盘容量比例；即：可用存储容量=2×24×75% 单位/T大数据处理实现大数据的处理是使用Hadoop2.x体系进行处理。将ETL清洗后数据放入HDFS中进行存储，依靠HDFS的数据底层存储上部署MapReduce引擎，MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；Hive是建立在 Hadoop 上的数据仓库基础构架。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行,十分适合数据仓库的统计分析。?Pig 是一