《大数据存储》.pdf

大数据存储系统的几个关键技术 郑纬民 zwm-dcs@tsinghua.edu.cn 清华大学 计算机系 1 提要 一 对大数据存储系统要求 二 几个关键技术 2 数据爆炸式增长  随着物联网、云计算和大数据的到来,以数据 为中心,存储为中心己经成为重要发展趋势  存储是影响计算机系统性能的关键因素  存储是“数据信息知识智慧”整个链条 的重要载体， 数据爆炸式增长 2007年, 281EB 2010年, 1.2ZB 2011年, 1.8ZB 2020年, 35ZB 3 对大数据存储系统的要求  要求  高可用 –数据能够随时访问，不丢失  低成本 –对磁盘容量要求低  高性能 –访问速度要快  低开销 –对CPU，网络资源占用少  优先级  由于I/O的速度远低于CPU和网络，优先级 应为 高可用成本低性能低开销 高可用和低成本是两个主要目标 4 大数据存储的问题抽象  如何在保证数据高可用性的同时，又最 小化存储容量需求  这个问题可以简单抽象为： 给定F个文件，存储在P台机器上， 每台机器有M块硬盘，每块硬盘的容量 为C字节，如何存储这些文件，使得在 2块硬盘或两台机器故障的情况下，系 统仍然能够恢复出所有F个文件的内容， 并使得所占用的存储容量最小 5 提要 一 对大数据存储系统要求 二 几个关键技术 6 几个关键技术 1.达到高可用性的关键技术 (1).多副本技术 (2).容灾技术 2. 达到低成本的关键技术 (1).分布式RAID技术 (2).存储删冗技术 3. 达到高性能的关键技术 (1).存储阵列扩展方法 (2).分级存储及其测试方法 7 1. 达到高可用性的关键技术 (1).多副本技术 (2).容灾技术 8 (1).多副本技术分布式文件系统  GFS, HDFS, MooseFS等  使用多副本技术提高数据的可用性和性能  当一个副本失效，系统自动进行数据的重分布，尽 快恢复