合并小文件实现优化14课件讲解.pptxVIP

合并小文件实现优化

1.了解什么是小文件

2.了解小文件如何产生

3.学会合并小文件

什么是小文件问题？对NameNode内存的影响导致NameNode内存溢出，影响集群稳定性与扩展性Map任务数量爆炸I/O效率低下大量小任务引发资源调度频繁，集群效率显著下降频繁磁盘寻道，导致读写延迟增加

小文件是怎么产生的写入生成独立小文件，数量迅速累积。占用大量元数据空间，加重NameNode负担小文件频繁生成如果分区多、每分区数据少，就会产生大量小文件动态分区插入数据量小但Reduce多，导致生成小文件Reduce数设置过多小批次文件流式处理中间结果未合并

写入时合并--启用自动合并小文件SEThive.merge.mapfiles=true;--Map-only作业输出合并SEThive.merge.mapredfiles=true;--MapReduce作业输出合并SEThive.merge.size.per.task=256000000;--每个合并后文件目标大小（约256MB）SEThive.merge.smallfiles.avgsize=128000000;--当平均文件小于该值时触发合并

定期合并历史数据--先关闭自动合并（避免干扰）SEThive.merge.mapfiles=false;--重新插入并触发合并INSERTOVERWRITETABLElogsPARTITION(dt=2025-11-18)SELECT*FROMlogsWHEREdt=2025-11-18;

使用CONCATENATE命令表使用:ORC文件格式ALTERTABLElogsPARTITION(dt=2025-11-18)CONCATENATE;

合并小文件实现优化

1.什么是小文件

2.小文件如何产生

3.合并小文件