云文件系统中纠删码技术的研究与实现.pdfVIP

高性能计算应用 33 云文件系统中纠删码技术的研究与实现  程振东 栾钟治 孟由 钱德沛 北京航空航天大学中德联合软件技术研究所 北京100191  管刚 陈伟 腾讯计算机系统有限公司 深圳518057 摘要： 随着信息资源爆炸性增长，云文件系统凭借高性能、高扩展、高可用、易管理等特点， 成为云存储和大数据的基础和核心。由于硬件损坏和软件故障等原因，可能造成数据的损坏和 丢失。云文件系统一般采用完全副本技术来提升容错能力，提高数据资源的使用效率和系统性 能。但完全副本的存储开销随着副本数目的增加呈线性增长，存储副本时造成额外的写带宽和 数据管理开销。纠删码在没有增加过量的存储空间的基础上，通过合理的冗余编码来保证数据 的高可靠性和可用性。本文研究纠删码技术在云文件系统中的应用，从纠删码类型、编码对 象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面，对云文件系统中纠删码 的设计进行了探究，以增强云文件系统的存储模型。在此基础上，本文设计并实现了纠删码原 型系统，并通过实验证明纠删码能有效保障云文件系统的数据可用性，并且节省存储空间。 关键词：云计算，云文件系统，冗余，纠删码 1. 引言 完全副本和纠删码两种。 随着社会信息化的快速发展，在科学研究、 完全副本冗余机制通过在分布式存储系统中创 工业生产、互联网应用、物联网等领域，数据都呈 建同一个数据块的多个副本来提高数据资源的可用 [12] 性。完全副本实现简单，稳定性强，可以在非常复 现出爆炸式增长的趋势 。1998年图灵奖获得者吉 姆·格雷（Jim ）曾经断言，现在每 Gray 18个月新 杂的存储系统中持续运行。此外，数据副本存放在 增的数据量等于有史以来全部数据量之和。信息资 位于不同物理位置的节点上，应用程序访问系统数 源的爆炸性增长，对存储系统在存储容量、数据可 据时可以根据自身所在的地理位置，访问距离最近 用性和可靠性方面带来了新的挑战。在这种情况 的那个节点上的数据，增加传输带宽，减少数据的 下，云文件系统作为云存储和大数据的核心基础， 传输时间。当多个客户端访问相同的数据时，它们 可以分别从不同的副本读取数据。因此，多份副本 被推倒了浪潮之巅。以Google文件系统（Google File [5] 能够降低用户访问资源的延迟，减少单个节点的负 System，GFS） 和Hadoop分布式文件系统（Hadoop [6] 担和网络拥堵，起到负载均衡的作用。完全副本技 Distributed File System，HDFS） 为代表的云文件系 统具有高性能、高扩展、高可用、易管理等特点， 术能够提升云文件系统的容错能力，提高数据资源 成为云存储的关键。 的使用效率和系统的访问性能。然而，完全副本的 为了实现存储系统的高扩展性，保证数据的高 缺陷也十分明显，存储数据量随副本数目的增加呈 可用和高可靠性，数据一般采用分块的方式来分布 线性增长趋势，存储副本时占用额外的写带宽等。 式存储和管理。无法预知的硬件设备损坏、电源中 这不仅导致在硬件上需投入更多的资金，由此带来 断、黑客攻击、病毒入侵等原因，均有可能造成数 的硬件的维护、管理和人力资源的成本也急剧增加。 据的损