技术创新平台存储系统的冗余容错机制研究-管理科学与工程专业论文.docxVIP

学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得南京工业大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 日 期： 学位论文的使用声明 □1、南京工业大学、国家图书馆、中国科学技术信息研究所、万方数据电子出版社、 中国学术期刊（光盘版）电子杂志社有权保留本人所送交学位论文的复印件和电子文档， 可以采用影印、缩印或其他复制手段保存论文并通过网络向社会提供信息服务。论文的 公布（包括刊登）授权南京工业大学研究生部办理。（打钩生效） □2、本论文已经通过保密申请，请保留三年后按照第一项公开（打钩生效） □3、本论文已经通过校军工保密申请，不予公开（打钩生效） 研究生签名： 导师签名： 日 期： 日 期： 硕士 硕士学位论文 I I PAGE PAGE IV 摘 要 企业、大学以及科研机构等组织之间的产学研合作能够有效加快科学技术成果的产 业化、商品化、和国际化。技术创新平台为产学研合作提供了一种新的平台，这种平台 能够使各参与方跨越地理障碍，进行全天候的协作创新，将教育、科技和经济结合，形 成一个产学研合作的有机体。实现技术创新平台的一个关键是数据存储。在技术创新平 台中，来自不同区域的海量数据需要存储，同时平台对数据存储成本以及可用性都有很 高的要求。如何保证技术创新平台数据存储的海量跨区域性、低成本且高可用性是平台 上产学研活动开展的基础，也是一个亟待解决的重要问题。因此，本文旨在于为技术创 新平台提供一套有效的存储方案，并设计相应的冗余容错机制，以此来满足平台的存储 需求。 考虑到技术创新平台的海量跨区域的数据存储需求，本文引入了 HDFS 云存储框架 来构建技术创新平台的存储系统。然而，当前版本的 HDFS 使用了完全副本冗余容错机 制。这种冗余容错机制通过复制数据得到多个副本，并分别进行存储，以此保证系统的 高可用性，但是这种方式增加了系统的冗余，增加了存储成本。因此，本文将纠删码技 术引入到新的冗余容错机制设计中。这种新的冗余容错机制对原数据编码形成若干校验 码，一旦数据发生丢失，使用校验码就可还原数据，以此保证系统高可用性。与完全副 本冗余容错机制相比，这种新机制极大地降低了系统的冗余，减少了存储成本。 同时，为了能够为技术创新平台提供低成本且高可用性的数据存储方案，本文在冗 余容错机制的设计中加入了成本和可用性的冗余优化机制。首先建立一个双目标优化模 型，同时提出了一种基于特征映射神经网络的冗余优化算法，用于搜索关于成本和可用 性的最优方案。这种算法和其他多目标算法相比，其并行性、分布性以及低计算复杂度 等特点更能适合在云存储环境下的存储优化方案搜索。另外，为了进一步提高算法收敛 速度以及求解质量，利用云存储中存在大量主机的特点，对原冗余优化算法进行改进， 加入了训练模块和竞争模块，提出了并行特征映射神经网络冗余优化算法。 最后对本文提出的冗余优化算法以及冗余容错机制分别进行了测试。实验结果证明， 与其他多目标优化算法相比，本文的冗余优化算法在求解质量、收敛性上都有着较好的 表现。同时，结果证明，与完全副本冗余容错机制相比，本文提出的新冗余容错机制能 够在保证系统高可用性的同时，有效降低系统冗余，减少了系统的存储成本。 基于 HDFS 框架的技术创新平台存储系统能够有效满足平台对海量跨区域数据存储 摘要 的需求。同时，针对该系统提出的冗余容错机制，经验证能够有效保证系统的高可用性 以及降低系统冗余存储成本，能够满足平台数据存储的实际需求。另外，本文在基于特 征映射神经网络的冗余优化算法方面的工作也为云存储环境下多目标优化算法的应用做 出了有益的探索。 关键词：技术创新平台 冗余容错 HDFS 多目标优化 自组织特征映射神经网络 硕士 硕士学位论文 PAGE PAGE III PAGE PAGE IV ABSTRACT The produce-study-research cooperation among the organizations, including enterprises, universities, and institutes etc., can effectively accelerate the industrialization, commercialization and globalization of scientific and technological achiev