基于LSH的分布式相似图像存储及查询系统的设计与实现-软件工程专业论文.docxVIP

万方数据 Classified Index: TP311 U.D.C: 621.3 Dissertation for the Master’s Degree in Engineering THE DESIGN AND IMPLEMENTATION OF DISTRIBUTED STORAGE AND QUERY SYSTEM FOR SIMILAR IMAGES BASED ON LSH Candidate： Chen Yu Supervisor： Prof. Li QuanLong Associate Supervisor: Senior Engineer Liu XinMin Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： July, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 摘 要 互联网的快速发展带来了大规模的多媒体数据，对多媒体数据内容的处理及 分析起到了极大的促进作用。但对于海量的多媒体数据的存储及查询来说，现在还 是存在着一定的困难。当前，传统的关系型数据库仅能对多媒体数据提供比较基本 的存储功能，几乎不提供对于多媒体数据的分析、处理及查询等功能，而且传统的 关系型数据库在应对海量数据的情况时，存在配置复杂，扩展能力较弱，可维护性 较弱，软硬件成本较高等问题。 本课题源自某互联网多媒体数据分析系统的技术与功能验证项目，此项目主 要针对海量的文本、图像、声音及视频等多种类型的数据进行实时分析及批量非实 时分析，以满足专网用户对于海量数据的查询统计等相关业务要求。本课题设计及 实现的内容，为此项目中关于图像数据的批量非实时分析操作和图像数据的存储 查询相关技术及功能的子系统。 根据用户的需求和海量数据系统应支持的功能，确定此子系统的设计与实现 基于分布式文件系统及分布式数据库系统，所有的功能模块均采用多线程的方式 实现，并支持相同的功能模块多重部署。功能模块间使用基于 TCP/IP 协议的 Socket 消息进行数据的传输。易扩展性、无单点故障及数据安全等特性对于处理海量数据 的系统十分重要。当今主流的分布式文件系统 Hadoop HDFS 及分布式数据库系统 Hbase 能够满足上述特性，同时这两个系统均为开源软件系统，构建成本相对较低， 技术也十分成熟。所以本课题的存储功能采用 Hbase 与 Hadoop 结合的方式实现。 利用 LSH(局部敏感哈希)算法与 SURF 特征结合实现相似图像查询功能。 本课题中包括七个主要功能模块，分别是图像接收及去重模块、图像特征提取 模块、图像特征索引模块、图像相关数据加载模块、图像查询接收模块、图像查询 执行模块和 MapReduce 查询模块。上述功能模块均为独立的后台应用程序，采用 C\C++语言实现。各个功能模块可重复部署在一台或多台设备上可以提高对硬件资 源的利用率。 本课题实现了海量图像数据的去重存储功能，基于图像内容的相似图像检索 功能，高维向量索引构建及检索功能，能够满足数据的多重备份要求，数据的并行 访问要求，软件及硬件易扩展性的要求、软件及硬件无单点故障的要求。 关键词：分布式文件系统；分布式数据库系统；局部敏感哈希算法；基于图像内容 检索 I -  Abstract The rapid development of the Internet has brought large-scale multimedia data that has played a great role in promoting the content of multimedia data processing and analysis. However, there are some difficulties about the massive multimedia data storage and query. Currently, the traditional RDBMS can only provide a little basic storage capabilities for multimedia data, provides little for multimedia data analysis, processing and query functions, and when traditional relational