基于内容的音频与音乐分析综述的设计与实现.docVIP

摘要：机器听觉包括三大研究领域：语音信号处理与识别、一般音频信号分析、基于内容的音乐信号分析。其中，语音信号处理与识别早已成为一个传统的研究热点。随着信息科学与技术的迅速发展，基于内容的音频与音乐信号分析也逐渐成为一个新的研究热点，近几年来取得了大量研究成果。文章将对1990年以后该领域上所取得的研究成果进行综述，包括基于内容的音频或音乐信号自动分类、分割、检索以及音乐作品自动分析等内容。 　　关键词：音乐分类;识别;分割;检索;音乐分析;自动摘要;音频信号处理;模式识别 　　1、引言 　　听觉是一个非常重要的信息来源，如何能让计算机具有人类的听觉能力是一个十分有趣的问题，有着广阔的应用前景。由于实际应用的需要，同时也为了研究方便，学者们将机器听觉分为三大领域：语音信号处理与识别、一般音频信号分析、基于内容的音乐分析。在这三个研究领域当中，有关语音识别的研究最为深入，每年都有大量的相关研究工作被报道。由于已经存在许多有关语音识别方面的综述性文章[1’2]，本文将不再对该领域的研究工作做进一步的归纳和整理。 　　所谓一般音频信号是指除了语音信号以外的各种音频信号，其中也包括音乐。而音乐也是一般音频信号中最重要的一个类别。我们知道音乐是一种复杂的非自然的声音现象，它是人类智慧与感性思维的体现。许多无法用语言准确描述的思想感情可以通过音乐表达出来，优秀的音乐作品往往会使人产生情感上的共鸣。因此，音乐被认为是全人类的共同语言，是人类几千年文化发展的成果，对它的研究无疑具有非常重要的价值。由于音乐本身包含着大量不同层次的信息，对音乐信号进行自动分析是十分困难的。此外，人类社会已经进入数字化时代，娱乐业与信息产业愈来愈紧密地结合在一起。如何快速有效地搜索、管理和分析多媒体数据已经成为一个非常重要的问题，而基于内容的音频和音乐信号分析则有助于这一难题的解决。 　　和语音信号处理与识别相比，有关基于内容的音乐和一般音频信号分析的研究工作相对较少。但进入20世纪90年代以后，这个领域的研究工作取得了很大进展，国际上发表的有关论文数量大幅增长。而目前有关该领域的比较全面的综述文章还是截止到1988年，因此我们认为非常有必要对近几年的研究工作进行一下总结。在本文中，我们将对1990年以来基于内容的音频和音乐分析领域的研究工作进行全面、完整的综述，其中主要介绍最近七八年的研究成果，之前的研究工作请参看文献[3]. 　　此外，具体的有关遗传算法在音乐分析领域中的应用综述请参看文献[4].这个研究领域中比较重要的期刊和会议包括IEEE Transaction on Speech andAudio Processing;IEEE Transaction on PatternAnalysis and Machine Intelligence;IEEE(Transac—tion on)Multimedia;IEEE Transaction on SignalProcessing; IEEE International Conference onAcoustics， Speech， and Signal Processing(IC—ASSP);IEEE International Conference on Multi—media and Expo(1CME)和International Symposi—um on Music Information Retrieval(ISMIR)等。 　　本文将按照不同的研究工作所处理的具体问题组织全文，安排如下：第2节介绍基于内容的音频和音乐分类与识别方面的研究工作;第3节介绍基于内容的音频流分割;第4节则介绍基于内容的音频或音乐检索;第5节介绍音乐作品分析以及乐谱自动识别方面的工作;第6节介绍有关计算机音乐分析与理解方面的一些其他工作;最后在第7节中则是我们对该领域今后研究工作的一些认识。 　　2、基于内容的音频和音乐分类与识别 　　基于内容的音频数据自动分类是一个十分重要的研究方向，它可成为其他许多应用研究的基础，如基于内容的分割、检索等。依据研究对象的不同，我们可以将这个领域的研究工作分为以下三个部分。 　　2.1 针对音乐类数据的自动分类与识别 　　由于音乐类数据具有高度的复杂性，根据研究对象的不同我们可以将这部分工作进一步细分为如下几个问题。 　　2.1.1针对不同音乐类型的自动分类 　　(1)两类分类问题两类分类问题是指，研究对象中仅仅包含有两种不同的混合音乐类型的数据。由于应用需求的不同，学者们所感兴趣的具体研究对象也是不同的。 　　如：Bickerstaffe等人研究了如何利用最小消息长度准则(MML)对摇滚乐和古典音乐进行自动分类[5]. 　　在他们的工作中比较了一种称为“Snob”的非监督学习方法和三种