云存储中小文件元数据管理研究与优化.docVIP

云存储中小文件元数据管理研究与优化 　　摘要：为了提高系统的可扩展性及整体查询速度，云存储中通常将元数据与数据进行分开管理。在小文件存储系统中，集群规模的增大会导致存储元数据的主节点性能瓶颈。该文针对此问题，在小文件合成大文件技术的基础上，应用基于Vandermonde矩阵的RS算法改进了其冗余机制，减少了系统存储的元数据。引入group概念，对主节点应用元数据形成集群进行管理，并借鉴树型数据结构，设计了基于group的树型元数据结构，同时采用主、从节点共同存储元数据的方式，分散单一主节点存储元数据的压力。 　　结论表明，该文提出的方案有效地提高了云存储主从架构主节点及系统整体的性能。 　　关键词：云存储；元数据结构；元数据存储策略；树型数据结构 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）16-0118-04 　　Abstract： To improve system scalability and the overall query speed ， cloud storage is typically metadata and data are managed separately. In a small file storage system ， increasing the cluster size can cause performance bottlenecks master node storing metadata. Aiming at this problem ， on the basis of small files into a large file technology， application -based RS algorithm Vandermonde matrix to improve its redundancy mechanisms to reduce the metadata stored in the system . The introduction of group concept ， the main application metadata form a cluster node management， and draw a tree data structure， a group of tree -based metadata structures ， while using the main way from the common node storing metadata， decentralized single master node pressure storage of metadata. 　　Conclusions show that the proposed scheme effectively improves the cloud storage from the main structure master and overall system performance. 　　Key words： cloud storage； metadata structure； metadata storage strategy； tree data structur 　　1 概述 　　云存储由于其便捷性，数据存储空间大且收费合理被广大用户所欢迎。因此，广大互联网行业纷纷推出自己的云存储产品。并且为了更加提高其体验性，研发者不遗余力的优化其技术。 　　当前云存储中主要有两种架构方式：主从架构及对等架构，主从架构即系统中有一个主节点，文件所有元数据存储于主节点中，剩余的为数据节点集群，主要用于存储文件数据[1]。对等架构是无主从之分，所有节点地位平等[1]，但有一个元数据逻辑层，即系统元数据单层存储。主从架构由于其易扩展性及系统稳定性更高而更广泛地应用于云存储中。但主从架构有一个明显的缺点，就是当系统存储的是小文件，且小文件数量过多时，存储元数据的主节点会成为整个系统的性能瓶颈[2]。并且在云存储中，一般是采取多副本的形式进行数据备份，对于云存储来说，是很消耗资源的，且主节点存储的元数据还包括副本的元数据，当面对海量小文件，对主节点来说，压力还是很大的。目前对于主节点性能的解决方式，大多是多用几台机器存储，但这样的做法会减少查询效率，且浪费资源[2] 　　2 云存储小文件系统元数据相关技术研究 　　典型的集中式架构的分布式存储系统有Google的GFS[2]，淘宝的TFS[2]，Facebook的Haystack[2]。 　　在集中式架构中，元数据分为应用元数据及文件系统元数据。应用元数据全部存放于主节