纠删码原理大数据离线分析09课件讲解.pptxVIP

纠删码原理大数据离线分析

教学目标1.了解RAID

2.了解副本、纠删码

3.掌握纠删码原理

1.背景近几年，尤其是规模较大的应用场景下，纠删码越来越多的出现在选择的视野范围，成为RAID，副本之外的第三种选择，因此也获得了越来越多的关注。?从传统情况来看，RAID通常用在企业级环境里较多，在几台和十几台存储设备规模的IT系统中，一向是使用稳定可靠历经数十年磨砺的RAID技术。而在数据中心级的大规模部署中，RAID不再受欢迎，大部分的分布式系统都偏好副本模式，看重的是其高可靠性和读性能优化的特点。然而副本带来的成本压力实在是有些吃不消，这时候ErasureCode适时出现，以更低成本和更高技术含量提供近似可靠性这几点，就吸引到了众多分布式存储／云存储的厂商和用户。

2.RAID把相同的数据存储在多个硬盘的不同的地方（因此，冗余地）的方法。因为多个硬盘增加了[平均故障间隔时间（MTBF），储存冗余数据也增加了容错。?RAID技术主要有以下三个基本功能：(1)通过对磁盘上的数据进行条带化，实现对数据成块存取，减少磁盘的机械寻道时间，提高了数据存取速度。(2)通过对一个阵列中的几块磁盘同时读取，减少了磁盘的机械寻道时间，提高数据存取速度。(3)通过镜像或者存储奇偶校验信息的方式，实现了对数据的冗余保护。

3.副本、纠删码?HDFS通过多副本机制来保证。在HDFS中的每一份数据都