基于困难样本挖掘的音频指纹检索技术研究.pdfVIP

哈尔滨工业大学工学硕士学位论文

摘要

音频指纹检索技术是一种基于音频指纹技术的应用，它可以通过比较不同

音频片段的音频指纹，来实现音频内容的检索和匹配。困难样本是与查询音频

片段非常相似的、在检索过程中难以区分的那些样本，困难样本挖掘的目的是

通过挖掘这些难以区分的样本，为模型提供更有效的训练数据，从而提升模型

的训练效果。对困难样本的辨别能力是衡量音频指纹检索技术的关键，现有音

频指纹检索技术提取出的音频指纹以及由音频指纹建立的索引对困难样本的区

分性不足，影响检索的准确性和检索速度。本文就困难样本挖掘的角度，对提

高音频指纹检索系统的检出率以及建立合适的索引方法展开研究，主要内容如

下：

（1）提出了基于加性间隔正例优化损失函数和自适应权重负例优化损失函

数的音频指纹提取方法，并在模型训练过程中采用了一种能集中困难样本的数

据采样方法，将同一个音频文件的不同片段集中到同一个批次数据中，提高困

难样本的比例。提出的方法能有效增强模型对困难样本的辨别能力。实验结果

表明该方法相比基线系统音频指纹的检出率和正确率可以提高12.5%。

（2）提出了基于困难样本挖掘的音频索引方法。为了提高困难样本索引的

可区分性，结合音频指纹的训练过程，用对比学习思想学习PQ索引的聚类中

心，保留了音频指纹正负例信息，提高了困难样本索引的区分度。并在聚类中

心的训练过程中采用基于加性间隔与自适应权重的困难样本挖掘损失函数以及

困难样本集中的数据采样方法，进一步提升索引对困难样本的辨别能力。实验

结果表明与暴力检索准确率相同条件下，基于困难样本挖掘的音频索引方法比

基线系统索引方法需要比较的样本数少，检索速度比基线系统提高14%。

（3）本文基于上述改进算法开发了基于困难样本挖掘的音频指纹检索系统，

其中模型训练和音频特征提取部分使用Python语言实现，指纹提取模型部署和

指纹索引检索部分使用C++语言实现。既便于模型训练，也能提高实际部署检

索系统的检索速度。

关键词：音频指纹检索；对比学习；困难样本挖掘；音频索引；乘积量化

-I-

哈尔滨工业大学工学硕士学位论文

Abstract

Audiofingerprintingtechnologyisanapplicationbasedonaudiofingerprinting

thatenablesretrievalandmatchingofaudiocontentbycomparingtheaudio

fingerprintsofdifferentaudiosegments.Difficultsamplesarethosethatarevery

similartothequeryaudiosegmentandaredifficulttodistinguishduringretrieval.

Thepurposeofdifficultsampleminingistoprovidemoreeffectivetrainingdatafor

themodelbyminingtheseindistinguishablesamples,therebyimprovingthetraining

effectivenessofthemodel.Theabilitytodistinguishdifficultsamplesisakey

measureofaudiofingerprintingretrievaltechnology.However,thediscriminative

abilityoftheexistingaudiofingerprintsandindexesestablishedbyaudiofingerprints

isinsuff