分布式文件系统数据块聚类存储节能的策略.docVIP

分布式文件系统数据块聚类存储节能的策略 　　摘要：针对分布式文件系统中由于数据块随机放置而导致的服务器利用率低、能耗管理复杂的问题，建立了数据块访问特征向量模型描述用户对数据块的随机访问，运用Kmeans算法对数据块进行聚类计算，根据计算结果将数据节点划分为多个区域以存储不同聚类簇的数据块，在系统负载较低时进行数据块动态重配置，关闭不必要节点达到节能的目的。为使得策略适用于对能耗和资源利用率有不同要求的场景，算法中聚类簇间隔参数可灵活设置。实验通过和冷热区划分算法进行比较表明：按照聚类结果进行数据块重配置后，能耗节省效率优于冷热区划分算法，节省能耗35%～38%。 　　关键词：云计算；分布式文件系统；数据聚类；动态重配置；节能计算 　　中图分类号： TP393.09 文献标志码：A 　　Abstract： Concerning the low server utilization and complicated energy management caused by block random placement strategy in distributed file systems， the vector of the visiting feature on data block was built to depict the behavior of the random block accessing. Kmeans algorithm was adopted to do the clustering calculation according to the calculation result， then the datanodes were divided into multiple regions to store different cluster data blocks. The data blocks were dynamic reconfigured according to the clustering calculation results when the system load is low. The unnecessary datanodes could sleep to reduce the energy consumption. The flexible set of distance parameters between clusters made the strategy be suitable for different scenarios that has different requests for the energy consumption and utilization. Compared with hotcold zoning strategies， the mathematical analysis and experimental results prove that the proposed method has a higher energy saving efficiency， the energy consumption reduces by 35% to 38%. 　　Key words： cloud computing； distributed file system； data clustering； dynamic reconfiguration； energyefficient computing 　　0 引言 　　伴随着数字时代的蓬勃发展，数据激增和信息爆炸现象的出现不可避免，云计算以其资源动态分配、按需服务的设计理念，通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。借助软件服务（Software as a Service，SaaS）、平台服务（Platform as a Service，PaaS）、基础设置服务（Infrastructure as a Service，IaaS）等先进的模式把强大的计算能力分布到终端用户手中，可以低成本解决海量信息处理的问题[1]。传统的分布式文件系统通常用于高性能计算或大型数据中心，对硬件设施条件要求较高。Google文件系统（Google File System， GFS）[2]为Google云计算提供海量存储，采用廉价的商用机器构建分布式文件系统，同时将GFS的设计与Google应用的特点紧密结合，并简化其实现。Hadoop分布式文件系统（Hadoop Distributed File System， HDFS）[3]作为Java语言开发的开源分布式文件系统，其设计目标与GFS