基于Hadoop云计算平台大规模图像检索方案.docVIP

基于Hadoop云计算平台大规模图像检索方案 　　摘要：针对传统图像检索方法在处理海量图像数据时面临困扰的问题，提出了一种基于传统视觉词袋（BoVW）模型和MapReduce计算模型的大规模图像检索（MRBoVW）方案。该方案充分利用了Hadoop云计算平台海量存储能力和强大的并行计算能力。为了更好地处理图像数据，首先引入一种改进的Hadoop图像数据处理方法，在此基础上分特征向量生成、特征聚类、图片的向量表示与倒排索引构建三个阶段MapReduce化。多组实验表明，MRBoVW方案具有优良的加速比、扩展率以及数据伸缩率，效率均大于0.62，扩展率以及数据伸缩率曲线平缓，适于大规模图像检索。对于应对日益增长的大规模图像检索需求具有重要意义。 　　关键词：云计算；Hadoop；MapReduce；图像检索；视觉词袋模型 　　中图分类号： TP391.3； TP311.1 　　文献标志码：A 　　Abstract： 　　Concerning that the traditional image retrieval methods are confronted with massive image data processing problems， a new solution for largescale image retrieval， named MRBoVW， was proposed， which was based on the traditional Bag of Visual Words （BVW） approach and MapReduce model to take advantage of the massive storage capacity and powerful parallel computing ability of Hadoop. To handle image data well， firstly an improved method for Hadoop image processing was introduced， and then， the MapReduce layout was divided into three stages： feature vector generation， feature clustering， image representation and inverted index construction. The experimental results demonstrate that the MRBoVW solution shows good performance on speedup， scaleup， and sizeup. In fact， the efficiency results are all greater than 0.62， and the curve of scaleup and sizeup is gentle. Thus it is suitable for largescale image retrieval. All of those improvements are important to respond to the growing demand for largescale image retrieval. 　　Key words： cloud computing； Hadoop； MapReduce； image retrieval； Bag of Visual Words （BoVW） model 　　0引言 　　随着互联网的高速发展，数据日益呈现出海量化、多媒体化的趋势。如何对海量多媒体信息进行快速的检索已经成为亟待解决的重要问题。在图像检索领域，视觉词袋（Bag of Visual Words， BoVW）模型因其模型简单计算复杂度较低却具有良好的性能，并与文本分析中的词袋（Bag of Words， BoW）模型有很大的相似性，文本检索中很多相对成熟的技术如倒排索引等都可以用在图像检索领域，而受到很多学者的关注。但是传统的串行处理模式无法完成大规模的图像数据处理，探索新的处理模式已经成为该领域的一个研究热点。 　　近年来云计算发展迅速，其发展过程一直与大规模数据处理密切相关，因此利用云计算平台高效地处理大规模图像数据的检索问题是一个非常有潜力的方向。Hadoop云计算平台以其优秀的大规模数据处理能力、良好的可扩展性和可靠性以及低成本的优势受到产业界的推崇，涌现出了大量商业应用。但是Hadoop最初是针对大规模文本数据处理设计的，内部数据类型有限，不能直接处理多媒体数据。针对这一问题，已有学者进行了一