hdfs下载效率的优化资料.pdfVIP

第3O卷第8期 计算机应用 V0I_30No．8 2010年 8月 JournalofComputerApplications Aug．2010 文章编号：1001—9081(2OLO)08—2060—06 HDFS下载效率的优化 曹 宁，吴中海，刘宏志，张齐勋 (北京大学 软件与微 电子学院，北京 102600) (nickcao@139．corn) 摘 要：针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究，从分布式文件整体下 栽效率和数据块的下载效率两方面提 出了优化方法。实验结果表明：两个方法都能提高效率，但在集群有大量 DataNode的前提下，两者结合起来的方法能更好地提高下栽效率和均衡 DataNode的负载。