海量音频指纹数据的存储和检索研究.pdfVIP

摘 要 随着大数据时代的到来，尤其是包括图像、音频、视频在内的海量多媒体数 据，这些数据亟需被有效地管理起来，并为广大用户供方便、快捷的检索方式。 随着模式识别、机器学习、云计算技术的发展，基于内容的多媒体检索技术应运 而生，这种技术的出现使得信息检索不再依赖于数据的标签和关键字，而且搜索 结果更为准确，搜索方式更为便捷。 音频数据作为多媒体中重要组成部分，其数据规模也在迅速膨胀，人们面临 的问题不再是缺少多媒体信息，而是如何在海量的数据中找到自己所需要的信息。 如何快速有效的检索海量音频成为当前学术界和工业界信息检索研究领域的一 个重要课题。 音频指纹检索技术是基于音频内容的信息检索方式，通过对未知音频片段 取名为音频指纹的数字特征，然后在事先准备的海量音频指纹数据库中进行音频 指纹的搜索与相似度计算，获得音频详细信息的方法。这种方法解决了传统基于 文本关键字的搜索音频存在的文本标注不全、错误等问题，同时解决了用户不知 道关键词时无从下手搜索的困难。 音频指纹取与匹配算法已经在实验室中取得了丰硕的成果，并在部分产品 中得到了应用，但所处理的数据集规模相对较小。在应用到大规模数据集时会遇 到性能瓶颈，以及并发性、扩展性等问题。 本文在对音频指纹取与匹配算法的深入研究基础上，对海量音频指纹数据 的存储与检索进行了设计、实现及优化。首先出了基于哈希结构的音频指纹存 储结构，然后进一步出了两种分布式哈希解决方案，并通过实验证明了所设计 的方法的有效性。在此基础上，本文又出了一种海量音频指纹数据的序列化分 布式存储方案，并再一次通过实验证明了其有效性。 本文所设计的存储结构和分布式存储检索方案具有多级并发、高性能、可容 错、易扩展等特点，对于构建海量音频指纹检索系统具有实际价值，对于推进音 频指纹检索技术在社会中的应用具有重要意义。 关键词：音频指纹 海量数据 存储与检索 分布式存储 ABSTRACT With the coming age of big data, the world is producing data at an exponentially increasing speed, especially multimedia data such as images, audios and videos. How to effectively manage and make use of these data to providing more convenient is one of the fundamental problems people need to solve in the information age. As the development of techniques in pattern recognition, machine learning and cloud computing, content-based multimedia search comes in. Compared with traditional keyword-based search, content-based search is independent of tags and keywords, and with more accurate search results and more convenient search methods. As the important component of multimedia data, the data amount of audios also increases fast. The key problem of people faces is no longer lacking of data, but how to find data they want in massive data. And how to retrieve audios from large-scale databases effectively and efficiently is a big challenge for both academia and industry