基于用户行为分析的分布式文件系统动态备份机制计算机软件与理论专业论文.docxVIP

山东科技大学硕士学位论文 山东科技大学硕士学位论文 摘要 摘要 目前大多数分布式文件系统采用静态备份机制保证系统的高可靠性，其要求文件的 访问模式和存取节点范围在其生命周期中保持一致，由于用来备份的文件副本数量全局 统一，忽略了文件重要程度对可靠性要求的影响，使得备份机制灵活性差，无法应对系 统规模及被访问量的变化；另外静态备份机制要求文件的备份位置固定采用一种存储方 案，无法应对多变的应用环境。因此本课题以科技部网络视频评审为依托，针对静态备 份机制灵活性差及如何提高系统可靠性的问题展开研究。本文的主要工作和贡献如下： （1）针对静态备份机制灵活性差的问题，提出了一种基于用户行为分析的动态备份 机制，一定程度上提高了系统的可靠性。 首先，利用具体实例来阐述用户行为的特点，通过对用户行为特点的提取与归纳， 建立了用户行为分析模型；其次，针对静态备份机制灵活性差的问题，提出了动态备份 策略，结合用户行为分析建立一种动态备份机制。随着系统规模及访问量的变化，系统 各节点及各文件的可靠性要求也在发生改变，通过分析用户行为获得相关信息来动态的 改变备份数量及确定备份位置，将文件重要程度这一指标有效地纳入可靠性保障体系中， 应对系统规模和访问量的变化，具有较强的灵活性，从而提高了系统的可靠性，适合大 规模的分布式存储系统。 （2）为了证明动态备份机制可以提高系统的可靠性，同时可以解决静态备份分布式 文件系统灵活性差的缺点，本文将动态备份机制与 HDFS 建立基于 HDFS 之上的备份系 统，并应用于“网络视频评审数据分布式存储系统”。 HDFS 是开源的分布式文件系统，通过静态备份机制保障系统的高可靠性，作为实 现海量数据存储的系统被普遍使用，但其备份事前指定的策略具有灵活性差的弊端，导 致无法应对外界环境的变化，本文结合 HDFS 静态备份机制的优点，解决其灵活性差的 缺点设计并实现了基于 HDFS 之上的备份系统，并将该系统应用于为科技部建立的“网 络视频评审数据分布式存储系统”中。 （3）为了量化评价静态备份机制和动态备份机制的可靠性优劣，本文建立一套可靠 性评价体系，从抗毁性和生存性两方面来设计指标进行评价，通过实验有效的证明了两 种机制的可靠性高低。 为验证本课题提出的基于用户行为分析的动态备份机制有效性，设计实验并评价了 该原型系统的高可靠性。本文提出一套可靠性评价体系，有效地评价了存储系统的可靠 性。 关键词 分布式文件系统，动态备份，用户行为分析，可靠性 ABSTRACT Most distributed storage systems use a static backup mechanism to ensure system reliability, it requires that files access mode and range of nodes are consistent in its life, because the number of copies of files used to back up is global unified, it ignores that the importance of files affects reliability requirements, so it is inflexible and not suitable for the storage system the scale and visits of which are changing; on the other hand, a static backup mechanism requires that the location of file is fixed using a storage solution, it is unable to cope with changes in the environment. This paper relies on “Network Video Review Meeting for the Ministry of Science and Technology of the People’s Republic of China” and researches on some difficult issues, which includes the inflexibility of static backup mechanism and the improvement of reliability. The main work and contributions are as follows: This paper proposes a dynamic bac