面向云存储系统的绿色数据管理策略研究-计算机应用技术专业毕业论文.docxVIP

万方数据 万方数据 杭州电子科技大学硕士学位论文 面向云存储系统的绿色数据管理策略研究 研 究 生：董 池 指导教师：周 丽 副教授 2015 年 3 月 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master Research on Green Data Management of Cloud Storage System Candidate: Dong Chi Supervisor: A.Prof. Zhou Li March, 2015 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个 人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保 证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技 大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布 论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 （保密论文在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电子科技大学硕士学位论文 杭州电子科技大学硕士学位论文 摘 要 随着数据密集型应用和服务的越来越普及，大型数据中心消耗着巨大的电力 资源。其中存储系统作为数据中心的能耗大户，能耗的占有比例达到了 25～ 35%。而云存储作为未来存储发展的趋势已经被广泛的应用，如何降低云存储 设备的能耗是一个迫切需要解决的问题。 本文旨在联合数据分类、数据放置、数据备份和动态电压管理等技术达到降 低云存储系统能耗的目的。本文介绍了存储系统降耗技术的相关背景和国内外 发展状况，简述了云存储降耗技术的意义。其中，着重介绍了文中涉及到的神 经网络模型技术、灰色关联度分析法技术及 GridSim 相关技术在课题中的运用。 为了解决云存储系统中的能耗问题，本文的主要贡献是：提出了预判性绿色数 据分类策略（AGDC）以及基于数据分类的绿色升降档机制（DGLG），该两项 工作具体阐述如下： (1)设计并实现预判性绿色数据分类策略（AGDC）：该策略对云存储系统中 的数据进行分类，热数据存储于热磁盘区域，冷数据存储于冷磁盘区域，并且 对季节热数据进行神经网络预测，预判该数据在下一时间段内的温度，将该数 据在冷热区域中进行季节性迁移。本文还对新数据采用关联分析法分析它与存 储系统中的旧数据的关系，对该数据的温度进行预判，同时建立了能耗模型， 通过对能耗模型的分析证明：本文提出的预判性绿色数据分类策略具有降耗效 果。同时基于 GridSim 的模拟实验表明：该分类算法在满足用户性能需求的前 提下具有良好的降耗效果，其中在平均牺牲 0.005s 的响应时间下节省了 16%左 右的能耗。 (2)基于预判性绿色数据分类策略（AGDC）的基础上，设计并实现基于数据 分类的绿色升降档机制（DGLG）系统框架：该框架设计了新的数据分区策略、 数据备份策略，并基于数据分区备份的基础上提出了能耗升降档机制：1)数据 分区策略即通过预判性数据分类策略（AGDC）将数据分为冷数据、热数据、 季节热数据和新数据并将其放入相应区域。其中热数据、预判为热的季节热数 据和新数据依次放入源热数据区，冷数据、预判为冷的季节热数据和新数据依 次放入源冷数据区（相关定义见 4.1)。2)数据备份策略根据数据性质的不同， 通过数学模型计算最小备份数并据此确定了备份数及备份的放置位置。其中越 热的数据含有的备份数越多，能达到的备份区越高，越冷的数据含有的备份数 越少，达到的备份区越低，预判为热的季节热数据和新数据只达到热区中的最 I 小备份区。3)基于上述的数据分区、备份策略，本文提出了能耗升降档机制， 该机制通过神经网络模型预测后续时段任务量实现自动升降档。同时根据提出 的能耗升降档机制建立了相应的能耗与性能模型，通过对能耗模型的分析证明， 本文提出的基于数据分类的绿色升降档机制可以达到降耗的目的。基于 GridSim 的模拟实验表明：该能耗升降档机制在存储小型文件的存储系统中能达到较好 的能效。在存储小型文件的大规模存储系统中 DGLG 降耗效果一般可达 43%左 右。在系统负载较轻，开启最低档位的情况