云存储系统中文件分界点确定方法——Cut-GAR.pdfVIP

Journal ofComputerApplications ISSN 1001．9081 2015．09．10 计算机应用，2015，35(9)：2497—2502 CODENJYIIDU http：／／www．joca．cn 文章编号：1001．9081(2015)09．2497—06 doi：10．11772／j．issn．1001—9081．2015．09．2497 云存储系统中文件分界点确定方法——Cut．GAR 邵 田 ，陈广胜 ，景维鹏 (1．东北林业大学 信息与计算机工程学院，哈尔滨 150040； 2．黑龙江省林业生态大数据存储与高性能(云)计算工程研究中心，哈尔滨 150040) ( 通信作者电子邮箱kjc_chen@163．corn) 摘 要：针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致 HDFS处理小文件性能不佳的问题 ，提出了 一 种云存储 系统中文件分界点的确 定方法——cut—GAR。该方法分析消耗 NameNode内存 (M)、文件上传速度 (MUFS)、文件读取速度 (MAFS)与文件大小之间的关系，得 出文件大小三个近似最优值，FM、FMUFS、FMAFS；然后利 用灰度关联分析，将M、MUFS、MAFS作为评价指标，文件大小作为评价对象，得到评价指标一评价对象灰色关联度以 及评价指标所 占权重，将 FM、FMUFS、FMAFS与对应权重相乘，得 出文件分界点。实验 结果表明，Cut．GAR在 M、 MUFS和MAFS三者之间取得平衡 ，可以有效确定文件分界点，提升小文件处理性能。 关键词：Hadoop分布式文件 系统；小文件；文件分界点；Cut．GAR；灰色关联分析 中图分类号：TP312．31 文献标志码：A Cut-GAR：solutiontodeterminecut—off pointincloudstoragesystem SHAOTian一，CHENGuangsheng， ，JING Weipeng’ (1．CollegeofInformationandComputerEngtneering，No~heastForestryUniversity,HarbinHeilongfiang150040，China； 2．HeilongfiangProvinceEngineeringTechnologyResearchCenterforForestryEcologicalBigDataStorageand HighPe rnl~nce(Cloud)Computing HarbinHeilongfiang150040，China) Abstract：Consideringpoorperformancecausedbyvaguedefinitionofsmallfilesin Hadoop Distributed FileSystem (HDFS)，Cut-offPointviaGreyRelationalAnalysis(Cut—GAR)waspresentedtofindthecut—offpointbetweensmallfilesand largefiles，therelationshipamongtheconsumedmemoryofNameNode(M)，speedsofMBofUploadedFilesperSecond (MUFS)，speedsofMBofAccessedFilesperSecond(MAFS)andfilesizewasanalyzed，theproperfilesizesaccordingto thethreefactors，weresetrespectivelyasFM，FMUFSandFMAFS．Andthen，greyrelational analysiswastakentoweight