Hadoop文件系统性能分析 Research on the Performance of Hadoop File System.pdfVIP

R＆D 电子技术 电子技术研发Electronics Hadoop文件系统性能分析 周轶男王宇 (江南计算技术研究所，江苏无锡) 摘 要：随着网络技术的飞速发展，许多企业和团体通过数据存储服务提供商进行数据的存储、计算和交互。 量情况下的性能优势。 关键词：Hadoop；文件系统；云计算 ‘ ResearchonthePerformanceof File HadoopSystem ZhouYinan Yu Wang Instituteof (JiangNan ComputingTechnology,Wuxi，Jiangsu) Abstract：Asthe ofWeb Of and dealwiththe rapiddevelopmenttechnology,lots companiesorganizations storage， interactionofdata data service an source computation，and throughstorage provider．Asopen projectsponsoredbyApache， file whichisnamedHDFShas as Hadoop’Ssystem manyimportantfeatures，suchgreatcapacity,high areorientedincloud establishesadistributed reliability,andsuperiorperformance，which computing．Thispaper HDFSonPC．Itis the ofmassive file has throughinstalling provedbyexperimentthat，underpremise data，Hadoop’Ssystem beRer performance． Keywords：Hadoop；filesystem；cloudcomputing 0引言 ． 和客户端模块3部分组成。其中，扁平文件服务实现对服 务器磁盘上保存的文件内容的操作，负责创建、删除文 Hadoop文件系统(HDFS)是一个运行在普通的硬件之 上的分布式文件系统，它和现有的分布式文件系统有着 件以及读写文件的内容和属性，为每个文件创建惟一的 很多的相似性，然而和其他分布式文件系统的区别也是 文件标识符供后续操作时引用；目录服务实现的是文件 很明显的，HDFS是高容错性的，可以部署在低成本的硬件的文本名字与其对应标识符之间的映射，负责目录的创 之上，HDFS提供高吞吐量应对应用程序数据访问，它适建、删除以及目录中文件的增删和查找，生成的目录也 合大数据集的应用程序，HDFS放开一些POSIX的需求去是以文件方式保存并由扁平文件服务负责管理；客户端 模块则是运行在客户端上，负责封装对扁平文件服务和 实现流式地访问文件数据，HDFS开始是为开源的apache