Hadoop 3.0纠删码（Erasure Coding）：节省一半.PDFVIP

Hadoop 3.0纠删码(Erasure Coding)：节省一半存储空间 Spark大数据博客 - Hadoop 3.0纠删码(Erasure Coding)：节省一半存储空间 随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的 可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储 利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越 来越明显：传统的3份复制相当于增加了200%的存储开销，给存储空间和网络带宽带来了很大的 压力。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS应用的主要问题之一。 针对这些问题，英特尔、Cloudera、华为以及其他的Apache Hadoop communit共同参与开始引入纠删码（Erasure Coding，EC）技术，在保证数据可靠性的同时大 幅降低存储开销。相关代码已经进入trunk，并计划3.0版本中发布。 Erasure coding纠删码技术简称EC，是一种数据保护技术。最早用于通信行业中数据传输中 的数据恢复，是一种编码容错技术。他通过在原始数据中加入新的校验数据，使