EasyHadoop第六次分享-Hadoop小文件问题解决分享(蓝汛张月)EasyHadoop第六次分享-Hadoop小文件问题解决分享(蓝汛张月).pdf

Hadoop小文件问题分享 @ 张月 蓝汛 计算机科学是这样一门科学：它相信所有问题都可以 通过多一个间接层来解决。 -Dennis DeBruler引自《重构》 HDFS中保存大量小文件的坏处 • 搞爆NameNode内存 • NameNode需要HDFS metadata加载到内存，所以文件数量的增加会 NN 导致 内存溢出。 • MapReduce运行低效 • map block JVM 因为 会对每个文件（或 ）启动一个 和相关初始化工作。 128MB MR MR 实践测试文件大小适中（ ）并均匀的 比大量小文件 性能 提升近一倍。 • DN NN 大量小文件会导致 到 汇报低效，影响集群稳定性（ cdh3u3有改善）。 小文件优化 减少小文件数量 —— • 利用SequenceFiles将小文件打包上传 • 优点：从源头避免小文件产生 • 缺点：无论是hadoop shell还是mapreduce不能进行灵活读取 • 使用HAR将HDFS中小文件打包归档（从HDFS） • 优点：减少既有HDFS中小文件数量 • HAR har mapreduce 缺点： 文件读取性能差，而且我没有成功运行 文件 • Hadoop append • 优点：直接追加数据到相同文件 • api 缺点：传说这不是一个普通开发者使用的 ，我在多线程写入相同文 件遇到并发问题，最重要的是无法追加数据到压缩文件 • Flume、FlumeNG、Scribe • 优点：通过中间层来汇聚数据的办法减少小文件 • 缺点：FlumeNG和scribe都不能很好传输压缩文件 小文件优化 减少小文件数量 接上 —— ( ) • 利用Hbase合并小文件 • 优点：从源头避免小文件产生 • 缺点：维护成本大幅提升 小文件优化 提升 性能 —— MR • jvm mr mapred.job.reuse.jvm.num.tasks=true 开启 重用（ 属性 ） • 优点：设置简单，大量小文件下性能提升非常明显。 • 缺点：性能仍不理想 • CombineFileInputFormat • 优点：设置简单，性能有一定提升 • 缺点：性能仍不理想 • 其它 • mapred.reduce.parallel.copies mr 增加 值也可小幅提升 性能 名词说明 • (user) 用户(user)： ((uusseerr)) • CDN QQ 我们的 服务客户，比如 ，新浪微博 •