存储能力详细方案-参考.docxVIP

精品文档 精品文档 PAGE PAGE #欢迎下载 。 精品文档 精品文档 PAGE PAGE #欢迎下载 。 Hadoop存储能力详细方案 Hadoop采用HDFS乍为其底层文彳^存储方式。HDF奖分布式文件系统，适合 于存储大数据文件， 通过将大数据文件切分成多个小数据文件， 并且分散存放在 多台DataNode服务器，同时提供数据冗余机制保证数据安全。 本次Hadoop存储节点为：300台DataNode服务节点。 存储数据安全及分配机制： 采用 3 备份机制保证数据安全， 同时为系统保留 10%的临时数据交换空间，当数据量超过集群总容量的 90%时，建议增加节点。 存储总容量：300台数据节点，每个节点36T的磁盘容量，除去10%勺临时 数据交换空间，同时HDFSfr一份数据存放着3份备份；最终存储容量公式如下 可用存储容量=节点数*单节点磁盘容量* (1-临时数据交换空间比例)+ HDFSC件备份数量； 即：可用存储容量=300X36X (1-10%) +3=3240T; 目录规划： 针对不同的数据用途和支撑方式进行存储容量划分， 存放在 HDFS 中的数据分为接口层，处理层，共享层。 接口层主要为原始数据，处理层为存放在HDFS^数据经Hive映射之后数据， 共享层为经数据深度沉淀之后存放在 HBase中。 接口层：总容量 *50% 处理层：总容量