《面向大数据分析的分布式文件系统关键技术-论文》.pdfVIP

DOI：10．7544／issn1000—1239．2014 计算机研 究与发展 51(2)：382—394，2014 Journd，lofComputerResearchandDevelopm ent — — 面 向大数据分析的分布式文件系统关键技术 周 江 。 王伟平。孟 丹。马 灿。古晓艳 蒋 杰 (中国科学院计算技术研究所计算机应用研究中心 北京 100190) (中国科学院大学 北京 100049) 。(中国科学院信息工程研究所 北京 100093) (腾讯公司数据平台部 广东深圳 518057) · (zhoujiang@ncic．ac．cn) KeyTechnology inDistributedFileSystem TowardsBigDataAnalysis ZhouJiangl_2～，WangWeiping。，MengDan。，MaCan。，GuXiaoyan’ ，andJiangJie (Co优声“￡已rApplifn 。R Pn ^(n r，Instit“￡已。fCo tigTech押。。gY，ChineseAf拉 my。_厂Sf鲫f ，BPjing1OO19O) (UniersityofChineseAcademyofSciences，Beijing100049) (n f“￡e0厂Jf0r，ati0 Egineering，ChinPseAcadernyofSciPnfPs，Beijing100093) (DdaPlntfor Department，TencentInc．，Shenzhen，Guangdong518057) Abstract W ith thearrivalofbig dataperiod，data analysisandprocessingare becoming m。 imDortanttechno1ogywhichthedatacenterandlnternetcompaniesdependon．M assdatastorage sa hotspottopicin big dataanalysiswith theexpansion ofinformation andvariety ofdata struct“ · Traditiona1distributed file systems are lack ofthe new demands in scalability， reliability and performance．Inthispaper，aclusterfilesystem towardsbigdataanalysisisdesigned，whichisnamed C1over．C1overusesthenamespacemanagementbasedondirectoryshardingandconsistenthashingto so1vetheDroblem ofmetadataextension．Itprovidesmetadataconsistencyfordistributedtransactons through a modified two—phase commit protoco1． M oreover，Clover presents a highly availbl。 mechanism basedon the shared storagepoo1．Itachievesmetadatareliabilitywith hotstandby and globa1staterecoverymechanism．TheevaluationresultsrevealthatClovercould improvemetadata performancelinearlywiththeaveragevaluefrom 5．13