P2P网络存储系统的数据可靠性研究.docVIP

哈尔滨工程大学 硕士学位论文 P2P网络存储系统的数据可靠性研究 姓名：许劲斌 申请学位级别：硕士 专业：计算机应用技术 指导教师：吴良杰 201103  摘 随着互联网的快速发展，互联网上的数据呈现几何级数态势增长，大量的多媒体数 据充斥在网络中，网络上海量数据的增长给传统的存储系统技术带来了严峻的挑战，基 储主流技术。然而一旦存储系统数据因自然灾害、网络攻击或人为恶意损坏而无法及时 系统的数据可靠性成了当前的研究热点。 本文深入研究了结构化??哺峭?氖?菘煽啃裕?攵訮?网络存储系统数据冗余 策略和数据恢复策略进行优化和改进。 储系统采取单一的冗余策略所带来冗余效率低的问题，提出基于用户体验和服务成本的 冗余策略，该策略分析用户数据价值，根据服务成本模型，制定对应的冗余规则。根据 冗余规则，对不同的数据特征进行最合适的冗余编码方式。设计原型系统并进行实验， 并通过实验验证该方法的有效性。 复，提高系统的数据恢复策略的稳定性，提出基于访问频度的数据可靠恢复策略，当冗 余数据量不足时，根据恢复节点的访问频度模型制定数据恢复策略。设计模拟仿真试验， 并通过实验验证该方法的有效性。  ??痭??? ??????瑃???? ? ????? ? ????? ????? ?????? ??? ?? ?????琧?? ?????，? ??， ?????琱? ???? ??? ?? ? ????? ? ??????? ????? ? ????? ??? ????? ??????? ? ?? ???????????? ?? ??? ??? ? ? ? ? ??????? ?????????????? ?????????? ??? ? ? ????????????? ????? ??? ???篜? ???；????? ??；??????；???  ??课题背景及意义 自?世纪?年代以来，随着互联网的应用，给信息产业带来了前所未有的革命???。 互联网技术的快速发展导致互联网上的数据呈现几何级数态势增长，文本、图像、音频、 视频等大量多媒体数据充斥着网络，而且，互联网用户还在不断地增长，每天都会产生 大量的新的数据，从而造成数据存储需要耗费极大的资源，存储体系也相应地发生日新 月异的变化。 最初，由于互联网的广泛普及，使原先基于机房形式的存储服务器的分布式存储体 系获得了长足的发展，形成了相对比较完善的基于客户端／服务器架构的分布式存储模 式，数据相对集中的分布在预先部署的各存储服务器机房里，用户通过网络访问连接后 台存储服务器，以获取所需的各种资源。 然而，互联网信息技术的不断发展同时也推动分布式存储体系发生显著变化，这些 变化主要表现在几个方面：海量数据存储的快速膨胀、信息数据的被访问量迅速增加和” 数据服务的范围不断扩大。传统的存储模式已经明显跟不上变化的步伐，无论在存储容 量、网络带宽和服务器规模扩展等方面都逐渐显示出其不足，研究新的海量数据分布式 可靠存储系统成了迫不急待地需求。 散到若干个相互独立的存储节点中保存，即可以提高数据的安全性，同时也能更加保证 数据服务的可靠性，因此分布式的存储体系的出现，己逐渐发展主流的存储体系。随着 口等网络技术的不断成熟和网络中大部分的资源处于未利用状态，基于跨网络的分布式 存储技术也会越来越多地得到应用。但是，如何把网络中闲置存储资源组织起来，有效 地形成一个巨大的存储空间，是目前基于网络的分布式存储技术急切需要解决地难题。 的热点之一。 的分布式存储系统下，数据不必集中放置到各特定区域地存储机房服务器上，而是可以 络中的存储节点可以根据数据的规模而对资源进行升级，也不会造成系统的变化。况且， 网络上的大部分存储节点磁盘空间是未被使用的，而节点的磁盘容量则根据摩尔定律的  大的应用优势，主要体现在如下几个方面： 小型普通?机的硬盘存储容量和计算能力都大大提升，通过上层程序的合理支撑，完 全可以适用于大数据量存储访问的服务需求。 无限扩展。 ??橹?峁狗稚ⅲ夯?赑?存储模式能够使数据广泛的分布于整个广域网网络环 境中，而且不需要依赖于主中心结点支持，就能够动态的进行节点的加入与退出，只需 要找到邻近的一个节点用来初始化其在网络中的位置，通过其邻近节点上的信息用来初 始化路由等信息，从而定位其节点。该组织结构能够很好地避免中心节点的节点加入负 载。同时，由于数据分布随机性，能够更好地平衡各个节点的负载。访问总是访问其极 大提高了存储服务效率并降低了存储结点的平均数据负载水平，减少了由于局部数据频 繁使用而产生的访问性能瓶颈现象。 ??月尚裕涸赑?网络存储体系中，存储结点的加入退出随着网络状况不断地变 ??⑿屑扑隳芰η浚篜?存储系统可以充分利用各个节点的闲置资源，将其有效