基于大型音乐库的哼唱检索算法及性能评测- 按一下以新增標題.ppt

基于大型音乐库的哼唱检索算法及性能评测 董云峰 山东轻工业学院 网络中心 2010/10/21 提纲 1. 引言 多媒体信息检索 传统的音乐网站数据库检索 – 使用字符检索 Query By Humming(QBH) 电脑的音乐文件，主要包括WAV和MIDI 大型乐曲库的哼唱检索方法性能评测标准 2. 大型音乐库哼唱检索的算法 后缀树方法 对于大型歌曲库的系统，基本是无法建立有效的索引，因此不能用于大型哼唱检索系统。 2. 大型音乐库哼唱检索的算法 隐马尔科夫模型方法 HMM方法具有很好的容错性 对于小型乐曲库，检索速度快，效率高 对于大型乐曲库，检索速度下降快，效率低下，用户无法忍受 不适合大型乐曲库哼唱检索 2. 大型音乐库哼唱检索的算法 动态时间规整方法 DTW算法从目前来看，可能是一个最为小巧的音频识别的算法 系统开销小，识别速度快 对于大型乐曲库，检索速度快，效率高 是一种比较有效的大型乐曲库哼唱检索算法 2. 大型音乐库哼唱检索的算法 近似旋律匹配算法 基于内容的音乐检索系统多采用近似字符串匹配算法，在容错方面有其明显缺陷 。 改进近似字符串匹配算法为近似旋律匹配算法。 工作步骤 该算法是一种比较有效的大型乐曲库哼唱检索算法 2. 大型音乐库哼唱检索的算法 相似度匹配算法 基本思想 第一步：计算哼唱信号片段基频周期值的两个对应的基频周期值变化数组。 设M[i]为存放哼唱信号片段基频周期值的数组，其中M[i]=pi 0i≤Nm，Nm为所求出的哼唱信号片段中的音调个数。 2. 大型音乐库哼唱检索的算法 相似度匹配算法 第二步：提取音乐文件的第一个窗口的特征矩阵 。 W1[i][j]为窗口特征矩阵 ，Nm为所求出的哼唱信号片段中的音调个数 ，相似度值 为St 2. 大型音乐库哼唱检索的算法 相似度匹配算法 第二步：计算后的St值，如果窗口长度大于哼唱信号片段的音调个数，表明完全不匹配，则St=0；如果窗口长度小于哼唱信号片段的音调个数，表明该哼唱信号片段为两句或两句以上的歌唱片段。 如果是第二种情况则提取下一窗口特征矩阵W2 ，N1=W1[1][1]为第一个窗口的长度，N2=W2[1][1]为第二个窗口的长度，Nm为所求的哼唱信号片段中的音调个数。如果N1+N2Nm，则表明完全不匹配，St=0。如果N1+N2=Nm 则 2. 大型音乐库哼唱检索的算法 相似度匹配算法 第三步：将计算得到的St值赋给Smax，Smax用来记录整个音乐文件所有窗口中的最大相似度。 第四步：按顺序提取下一个窗口的特征矩阵。与第一步算法相同，根据所提取的窗口长度和哼唱信号片段窗口长度的比较情况，分别计算St值。 第五步：如果StSmax，则St值赋给Smax。如按顺序还有窗口的特征矩阵未曾提取，则回到第四步。如果该音乐文件所有窗口的特征矩阵已经提取完毕，Smax即为该音乐文件对应于哼唱信号片段的相似度值。 3. 检索测试平台 测试平台 为了评测不同查询算法的性能，构建了一个音乐信息检索测试平台，采用VC++6.0开发环境进行程序开发，SQL-server 6.0作为后台的数据库开发和管理工具 3. 检索测试平台 测试平台 采用从网络上免费下载的乐曲，构建测试乐曲库。 本文采取旋律轮廓的表示方法，即把音高差距量化为若干个等级 (比如U，D，S)：对于音长比，通常按照大于1，小于1，等于1分为3级，分别用L、S、Q表示；对于音高差，通常按照大于0，小于0，等于0分为3级，分别用U、D、S表示。 4. 实验结果 近似旋律匹配算法 动态时间规整方法 相似度匹配算法 4. 实验结果 以在大小为72 000首乐曲的数据库上所做的测试为例，相似度匹配算法平均每次查询所需的时间仅为10m s。 而且，随着数据量的增加，相似度匹配算法查询所需时间的增加比其余两种方法缓慢得多。 综合考虑查询命中率和查询速度两个指标，作者认为相似度匹配算法是三者中最优的，最适合大型音乐库的哼唱检索。 5. 结论 实验结果表明，动态时间规整算法在查询命中率与扩展性两个方面都具有最好的性能 。 但是，由于动态时间规整算法的查询速度最慢，因此在实用性方面受到了限制。 相似度匹配算法查询速度快，查询命中率较高 ，但是扩展性不好。特别是当乐曲库的数据量增大时，命中率下降的比较明显 。 对于大型音乐库的哼唱检索，相似度算法虽然命中率下降的比较明显，但查询速度快的特点会为其提供广阔的应用空间 。 * * 1. 引言 2. 提出的方法 3. 性能评测平台 4. 实验结果 5. 结论 文本、图片和音乐 以标题/作者/歌词作为关键字 一种基于内容的音乐检索系统 波形音频：