音乐结构分析(MusicStructureAnalysis).pptxVIP

基于异常点监测和相似度计算的音乐结构分析算法研究MusicStructureAnalysisbyusingNoveltyDetectionandSimilarityCalculation顾旻玮指导老师：凌力

ContentsConclusionEvaluationDemoRealizationAlgorithmDesignAbstract

ContentsConclusionEvaluationDemoRealizationAlgorithmDesignAbstract课题背景和选题意义研究工作内容

课题背景和选题意义Publisherslistenersresearchers应用开发试听功能，互动交流前处理，研究样本Composers版权保护

算法流程设计类似研究总结结合两类典型流程提出改良想法系统架构实现MATLAB算法实现VC界面编程COM控件调用语义级分析小规模比较测试大规模验证测试结果分析研究工作内容

ContentsConclusionEvaluationDemoRealizationAlgorithmDesignAbstract研究现状算法流程概述节拍线分割特征提取结构划分片段语义标注

三类典型算法Repetition（相似度）寻找音乐四要素的重复片段音色单元分布-非监督聚类(homogeneity)Novelty（异常点）寻找音乐四要素变化和对比较大的点Homogeneity（聚类）将相同的语义结构组进行聚类国内相关研究概述PCP特征+余弦距离-相似度计算(repetition)旋律，节奏歌词，编曲研究现状

算法流程概述输入音频输出副歌段落输出结构分析结果分帧：节拍线分割特征提取：ChromaMFCC结构划分：基于自相似度计算和异常点检测维度转换：自距离矩阵计算候选副歌打分：基于能量，位置，平均距离片段语义标注：最佳路由算法测试歌曲：《风雨十载》

节拍线分割–OnsetDetection音符开端检测(Onsetdetection)Onset,Attack,Transient的区别

节拍线分割–OnsetDetectionAmplitude（幅度）Phase（相位）；某一段音频中第m帧的欧氏距离帧内求和，取阈值，第k维信息表示如下：计算某点实际和期望的得onset点音符开端检测(Onsetdetection)考虑要素

节拍线分割–动态规划节拍线分割——动态规划两个先验原则： 流行歌曲的节拍局部恒定； 节拍的开端通常是音符的开端目标函数：寻找基于onset点重合且基本节拍恒定的路径

基于心理声学中的人耳听觉特性语音识别的基础特征在音乐信息中通常作为音色描述子（descriptor）MFCC简介frameblocking-windowing-FFT-filtering-IDCT输出后与节拍同步，取对数能量+12阶系数MFCC的提取关键步骤特征提取——MFCC

特征提取——MFCCStart预加重分帧加窗快速傅里叶变换三角带通滤波反离散余弦变换求对数能量output求差分参数

基于十二平均律的音高向量特征反映音乐信息中的音高和声分布（权重）倍频部分（高低八度）映射到同音名不同音高的基频频率带一般采取基准：A4=440HzChroma简介Resampleling-frameblocking-DFT-mapping-post-processing输出后与节拍同步，取12阶系数Chroma的提取关键步骤特征提取——Chroma

Chromaoutput修正后处理重采样分帧Start离散傅里叶变换（DFT）在频域上映射到一个12维频率带中特征提取——Chroma

特征提取——特征时序图

结构划分——自距离矩阵SDM简介计算向量之间的距离常用于比较局部相似性 MFCCChroma

结构划分——异常点检测测试核矩阵KernelMatrix距离计算将测试矩阵沿着主对角线进行节拍前后的相关运算定位novelty点选择距离最大的30个中心点作为novelty点

结构划分——相似度计算设定提取目标大于4秒小于60秒的重复片段距离计算从SDM的主对角线向左下方平移计算每条子对角线的平均值对角线二值化设定阈值，大于为1，小于为0

片段语义标注——副歌提取Chorus出现在整首歌的3/4处重复出现3次以上出现在整首歌的1/4处平均能量较高平均距离较小包含人声

片段语义标注——其他段落划分

23145对于剩下的点（应当远远小于30）再进行测量，计算复杂度将大大降低对于其它的novelty点，距离少于16个beat的点可以去掉Segmentation-Group-Labeling对于之前提取的重复片段，在它们之间的Novelty点可以去掉，Onset-Beat-Novelt