基于Hadoop的海量车牌图像处理优化技术.PDFVIP

第28卷 第10期 计 算机 技 术 与发 展 Vol.28 No.10 2018年10月 COMPUTERTECHNOLOGY AND DEVELOPMENT Oct. 2018 基于Hadoop 的海量车牌图像处理优化技术 侯向宁 (成都理工大学工程技术学院,四川 乐山 614007) 摘 要:Hadoop集群下每个小文件均占据一个 Block,一方面存储海量元数据信息消耗了大量的NameNode 内存,另一方 面,Hadoop为每个小文件单独启动一个Map任务,大量的时间花费在启动和关闭Map任务上,从而严重降低了MapReduce的 执行速率。 对此,在详细分析已有解决方案的基础上,采用CFIF将多个小文件分片打包到大分片中,给每个大分片只启动 一个Map任务来执行,通过减少启动Map任务的数量,提高了处理海量小文件时的效率。 通过设计Hadoop 图像接口类, 继承并实现CFIF抽象类,最终完成了对海量图像小文件的处理。 与常规HDFS、HAR和MapFile方案在NameNode 内存空 间和运行效率方面进行了对比,结果表明,CFIF在NameNode 内存占用率和运行效率方面,都有很好的表现。 关键词:海量小文件;Hadoop分布式文件系统;分片;打包 中图分类号:TP391 文献标识码:A 文章编号:1673-629X(2018)10-0135-04 doi:10.3969/j.issn.1673-629X.2018.10.028 A Processing Optimization Technique for Massive License Plate Images Based on Hadoop HOU Xiang-ning (Engineering Technical College of Chengdu University of Technology,Leshan614007,China) Abstract:Under the Hadoop cluster,each small file occupiesablock. On the onehand,to storemassivemetadatainformation consumes a lot of NameNode memory;on the other hand,Hadoop startsa Map task for each small file,spending a lot of time on startup and shut- down Map tasks,which severelyreducestheexecution speedoftheMapReduce. Inviewofthis,onthebasisofanalysisof severalexist- ing solutions,we use CFIF abstract classto package multiple small filesinto a big split,for each big split only start a Map task to per- form. By reducing the number of Map tasks,we improve the efficiency when dealing with massive small files. Through designing the Hadoop image interface class,we inherit and implement CFIF abstract class for final completion of the processing of large image small