基于位置敏感哈希的分布式高维索引方法研究-计算机应用技术专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 随着互联网的发展，图像、音频、视频等多媒体数据正在飞速地增长，如何快 速地帮助用户检索到所需要的多媒体数据成为当前搜索引擎技术的一大挑战。虽然， 目前已经有较多研究机构和商业公司推出了基于内容的图像搜索引擎，但在实际应 用中，其准确性、查全率等还有较大的提升空间。同时，在基于内容的图像搜索引 擎研究中，高维索引的存储量大和计算开销大等问题一直是研究的热点。 针对上述问题，在分析位置敏感哈希索引算法以及 Hadoop 分布式系统的基础上， 研究改进了现有高维索引计算模型和索引结构的方法。根据位置敏感哈希索引的特 点，改进了现有位置敏感哈希索引为松耦合的索引结构，从而可以将索引文件分布 式部署在多个查询节点中并实现高并发的索引查询。同时，通过 MapReduce 分布式 计算模型来实现索引构造的并行化，提高了索引构造的效率，从而解决高维索引计 算开销大的问题，并采用分布式数据库来存储海量高维索引数据，增强了系统可扩 展性。索引查询模块采用高并发的查询集群来提供索引查询服务，可以满足海量用 户的查询请求，同时为了降低索引查询过程的 IO 开销，查询节点将索引文件导入内 存，并实现了查询集群的内存索引管理系统。 实验结果表明，分布式计算模型和分布式存储系统的引入很好地解决了海量数 据情况下索引构造性能不高以及索引存储模块可扩展性不强等问题。同时，松耦合 的索引结构降低了索引查询集群的通信开销，从而能够提供高并发、快速的索引检 索服务。 关键词：位置敏感哈希，分布式索引，基于内容图像检索 II II Abstract With the development of the Internet, the quantity of multimedia data including image, audio and video is increasing faster and faster. How to help users to retrieve multimedia data quickly has become a major challenge that limits the usability of search engine technology. Although many research institutions and commercial companies have released content-based image search engines, but there is still a large space for improvement. Specially, the problem of high memory consumption and computational overhead of high-dimensional indexing in content-based image search engine has always been the research focus. To solve above problems, the Locality-Sensitive Hashing (LSH) index and Hadoop distributed system can be combined to improve the index architecture and computational model. The system reform the architecture of Locality-Sensitive Hashing (LSH) index to a loosely coupled