基于Hadoop分布式计算图像检索方法.docVIP

基于Hadoop分布式计算图像检索方法 　　摘要：针对传统单节点的基于内容的图像检索方法计算速度较慢，检索效率不高的问题，提出了一种基于Hadoop分布式计算的图像检索方法。首先提取出图像的颜色、纹理和形状特征用于表示图像，在检索阶段将检索任务分配到各个Map子节点，所有的Map结果根据相似度非减进行排序，并将前N个结果进行输出。实验结果表明，该方法有效地利用了云计算平台的并行处理能力，相比较单节点的图像检索方法，提高了CBIR方法的运行效率。 　　关键词：图像检索；分布式计算；Hadoop 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）17-0153-02 　　Image Retrieval Based on Hadoop Distributed Computing 　　LIANG Xin-ran1， LIANG Peng2， ZHOU Hai-tao1， ZHOU Jian-xiong1， ZHOU Yi-shu1， LAO Xue-li3 　　（1.China Mobile， South Base， Guangzhou 510640， China；2.School of Computer Science， GuangDong Polytechnic Normal University， Guangzhou 510665， China；3.Bingosoft Development Corporation Limited， Guangzhou 510663， China） 　　Abstract： Aiming at the problem of inefficiently of traditional content based image retrieval method， this paper proposes an image retrieval method based on hadoop distributed computing. We first extract color features， texture features and sharp features from image dataset. Then， the retrieval job will be distributed to all map services and all retrieval results will be sorted according to matching results. Finally， the first N images will be sent back to user. The experimental result shows that our proposed method can improve the computing efficiency of traditional CBIR method. 　　Key words： image retrieval； distributed computing； hadoop 　　基于内容的图像检索（CBIR）是指根据图像内容而并非文字关键词对图像进行检索的方法，并在许多领域得到了广泛的使用[1-3]。CBIR检索方法首先提取出图像数据集的特征，用图像的特征代表图像，匹配时用测试图像特征与特征数据集进行比较，最后返回匹配程度较高的部分图像。然而当图像数据集数量增大时，检索性能和速度会急剧下降，如何提高CBIR检索方法的计算速度成为了一个迫切的研究问题。 　　云计算是指将数据存储和检索任务分布在大量的分布式计算机上，而非本地计算机。Hadoop[6，7]是一个可扩展的分布式系统基础架构，并且对用户提供了开发接口，使得用户无需关注分布式底层的实现细节，很方便地搭建分布式计算平台；此外Hadoop技术支持在普通计算机上实现分布式计算架构，而无需服务器进行支撑，因此得到了广泛的应用[4，5，6]。 　　为此，本文提出基于Hadoop分布式计算的图像检索方法，利用云计算平台的并行处理能力提高CBIR方法的运行效率，实验结果表明基于Hadoop分布式计算的图像检索方法减少了检索的时间，提高了检索的效率。 　　1 Hadoop平台 　　Hadoop平台是当今使用最广泛的分布式云计算平台，主要分为HDFS、MapReduce和Hbase三部分。HDFS提供了一个可以运行在普通硬件集群上的分布式文件系统，可以存储超大文件并使用流对文件进行高速读写。HDFS是由一个NameNode主服务器和多个DataNode块服务器组成的主从结构，NameNode用于管理文件系统的命名空间以及用户对文件的读写访问，其中包括