一种海量大数据云存储系统框架设计概论.pdf

第27卷第 3期 常 州 工 学 院学 报 Vo1．27 No．3 2014年 6月 JournalofChangzhouInstituteofTechnology Jun．2014 一 种海量大数据云存储系统框架设计 费贤举，王树锋，王文 (常州工学院计算机信息工程学院，江苏 常州 213002) 摘要 随着数据爆炸性增长，传统的存储方式已经不再满足海量数据的存储需求，云存储技术 的飞速发展，使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件 系统HDFS的基础上，提出了一种新的基于云计算环境的海量大数据存储设计方法，主要给出了文 件存储方案设计 以及副本方案设计等，为云计算海量数据存储与管理提供 了一种可行的关键技术 方案。 关键词 海量大数据 ；云存储 系统 ；HDFS 中图分类号：TP312 文献标志码：A 文章编号：1671．0436(2014)03—0038-05 DesigningaCloudStorageSystem ofMassiveData FElXianju，WANGShufeng，WANGWen (SchoolofComputerInformationEngineering，ChangzhouInstituteofTechnology，Changzhou213002) Abstract W iththeexplosionofdata，traditionalstoragemethodsnolongermeethtemassivedatastor‘ agerequirements．Therapid developmentofcloud storagetechnologymakescloud storagebecomeanew typeofdatastoragesolution．BasedontheHadoopDistributedFileSystem (HDFS)，htispaperputsforward anew typeofdistributedcloudstoragesolutionofrmassivedata，providinghtepersistenceofhighavailabili— tyofdatastorage．Thispaperproposesaframeworkofstorageandmanagementofmassivedata，andanaly- zeskeytechniqueshtatweneedtoimplementtheproposedfrma ework． Key words massivedata；cloudstoragesystem ；HDFS 心，以此来降低本地的硬件成本和系统维护费用。 0 引言 由于数据中心存储的数据量十分庞大，管理系统 近年来，随着社交网络、网络新闻媒体和娱乐 的复杂性较高；从存储设备级别上看，由于数据中 视频等各种信息化服务的开展产生 了大量的数 心为了控制成本，大量采用廉价存储设备，致使数 据，使得数据存储规模也呈现爆炸性增长。个人 据极易因硬件设备故障而丢失。这些都对海量数 用户的数据存储规模达到TB(10B)级别，大中 据存储性能、可靠性等方面带来了挑战。 型企业的数据存储甚至达到 EB(1O堪B)级别。【1J 云存储是解决海量数据存储的最有效手段。 云计算和物联网的迅速发展，越来越多的个人和 谷歌公司提出的MapReduce_2J，作为一种新的编 企业选择将 自己的业务迁移到大规模 的数据 中 程模型，能有效地并行处理海量的数据，其采用的 收稿 日期：2014—05—06 基金项 目：常州市2012年科技局应用基础研究计划项 目(CJ