存储能力详细专项方案参考.docxVIP

Hadoop存放能力具体方案 Hadoop采取HDFS作为其底层文件存放方法。HDFS是分布式文件系统，适合于存放大数据文件，经过将大数据文件切分成多个小数据文件，而且分散存放在多台DataNode服务器，同时提供数据冗余机制确保数据安全。 此次Hadoop存放节点为：300台DataNode服务节点。 存放数据安全及分配机制：采取3备份机制确保数据安全，同时为系统保留10%临时数据交换空间，当数据量超出集群总容量90%时，提议增加节点。 存放总容量：300台数据节点，每个节点36T磁盘容量，除去10%临时数据交换空间，同时HDFS中一份数据存放着3份备份；最终存放容量公式以下 可用存放容量=节点数*单节点磁盘容量*（1-临时数据交换空间百分比）÷HDFS文件备份数量； 即：可用存放容量=300×36×（1-10%）÷3=3240T； 目录计划：针对不一样数据用途和支撑方法进行存放容量划分，存放在HDFS中数据分为接口层，处理层，共享层。 接口层关键为原始数据，处理层为存放在HDFS中数据经Hive映射以后数据，共享层为经数据深度沉淀以后存放在HBase中。 接口层：总容量*50% 处理层：总容量*30% 共享层：总容量*20% Storm存放能力具体方案 Storm流数据处理采取linux文件系统作为其存放，数据盘采取raid5确保数据安全。 存放总容量为：30台服务器，每台36T，采取Raid5磁盘阵列以后，数据容量为原来75%，并提议预留10%空间；最终可用存放计算公式以下： 可用存放容量=节点数*单节点磁盘容量*Raid5后磁盘容量百分比*（1-临时数据交换空间百分比）； 即：可用存放容量=30×36×75%×（1-10%）=729T； Redis 存放能力具体方案 Redis包含平台Redis内存数据库和前置Redis内存数据库，平台Redis内存数据库集群用于存放Storm处理后数据，对外提供低延迟数据服务；前置Redis内存数据库存放应用级数据对外提供服务。 平台Redis内存数据库集群： 集群经过一台路由服务器依据一套算法将表Key值计划后分散存放到7个Redis Master服务器中，同时每一个Master节点对应一个Slave节点确保数据安全，经过路由服务器实现高可用。 存放容量为：14台数据服务器，7个Master节点，对应7个Slave节点，每一节点内存为512G，为确保KV查询高效性，提议预留30%空间；最终可用存放计算公式以下： 可用存放容量=节点数÷热备*单节点内存容量*（1-预留空间百分比）； 即：可用存放容量=14÷2×512×（1-30%）=2508.8G； 前置Redis内存数据库： 前置Redis内存数据库中，数据表分别分别存放在不一样节点，同时内存中数据定时备份到当地和远程磁盘，经过该方法在确保了数据安全同时针对多租户场景实现了资源隔离。 存放容量为：前置数据服务器，每一节点内存为512G，为确保KV查询高效性，提议预留30%空间，最终可用存放计算公式以下： 可用存放容量=节点数÷热备*单节点内存容量*（1-预留空间百分比）； 即：可用存放容量=4×512×（1-30%）=1433.6； Mysql 存放能力具体方案 Mysql关系型数据库存放放深度汇总模型数据，支撑能力封装组件，为上层应用提供数据服务器；其中支撑业务数据节点数为8台，管控数据节点数为2台。 业务数据MySql数据库： Mysql服务器数据存放将采取Raid5磁盘阵列划分，以满足数据安全及高可用性。 服务器存放容量：8台MySql服务器，每台24T，采取Raid5磁盘阵列，存放量变为原来75%；最终可用存放计算公式以下： 可用存放容量=节点数*单节点存放容量*Raid5后磁盘容量百分比； 即：可用存放容量=8×24×75% 单位/T 管控数据MySql数据库： Mysql服务器数据存放将采取Raid5磁盘阵列划分，以满足数据安全及高可用性。 服务器存放容量：2台MySql服务器，每台24T，采取Raid5磁盘阵列，存放量变为原来75%；最终可用存放计算公式以下： 可用存放容量=节点数*单节点存放容量*Raid5后磁盘容量百分比； 即：可用存放容量=2×24×75% 单位/T 大数据处理实现 大数据处理是使用Hadoop2.x体系进行处理。将ETL清洗后数据放入HDFS中进行存放，依靠HDFS数据底层存放上布署MapReduce引擎，MapReduce经过把对数据集大规模操作分发给网络上每个节点实现可靠性；Hive是建立在 Hadoop 上数据仓库基础构架。Hive是基于Hadoop一个 数据仓库工具，能够将结构化数据文件映射为一张数据库表，并提供简单sql查询功效，能够将sql语句转换为MapReduce任务进行运