面向新闻视频内容分析音频分层分类算法.docVIP

面向新闻视频内容分析音频分层分类算法 　　（天津大学 电子信息工程学院 天津 300072） 　　 　　摘 要：提出了一种规则和隐马尔可夫模型相结合的音频分层分类算法，首先利用规则将新闻节目中的音频分为静音、语音和音乐三类，然后采用隐马尔可夫模型进一步将语音和音乐细分为男主持人语音、女主持人语音、交替报道、独白语音、现场语音和音乐六类。实验结果表明，男主持人语音、女主持人语音以及音乐的分类效果最好，查准率和查全率均可达90％以上；交替报道的分类性能最差，查准率为57.5％，查全率为79.3％；其他类别的分类性能居中，在70%～90％左右。与同类算法相比，该算法分类性能较高。 　　关键词：音频分类； 内容分析； 隐马尔可夫模型； 新闻视频； 视频检索 　　中图分类号：TP391文献标志码：A 　　文章编号：1001-3695(2009)05-1673-03 　　 　　Hierarchical audio classification algorithm for news video content analysis 　　JI Zhong SU Yu??ting SONG Xing??guang AN Xin 　　（School of Electronic Information Engineering Tianjin University Tianjin 300072 China） 　　Abstract:This paper proposed hierarchical audio classification algorithm which first classified the news audio stream into silence speech and music with rule??based classifier and then employed hidden Markov models to categorize the speech and music to male??anchor speech female??anchor speech alternate speech monologue speech live report and music. The experiment results show that the classification works best in male??anchor speech,female??anchor speech and music in which precision and reall can both reach more than 90%. The classification performs worst in alternate speech with precision of 57.5% and with recall of 79.3%. The performance of classification in other types is at the average level with precision and recall ranging from 70% to 90%. Compared with the other representative algorithm this method works well with relatively high precision. 　　Key words：audio classification; content analysis; hidden Markov model(HMM); news video; video retrieval 　　 　　0 引言?? 　　 　　新闻视频中的音频信号包含有不同的类型，如语音、音乐以及静音等。它们按照一定的顺序播放，当从一种类型的音频信号转换到另一种类型的音频信号时，某些听觉特征会发生变化，前后差别较大，如同图像序列中的视觉特征一样。音频信号分类的目的就是根据音频特征将不同的音频信号区分开来，进行归类[1～4]。通过音频分类，一方面可以对不同类别的声音信号采取不同的处理方式，减小进一步处理的搜索空间，如对语音信号可以进行语音识别、关键词提取和说话人识别；另一方面，音频分类的结果反映了音频内容的高级语义特征，对音频乃至视频的内容分析和检索具有重要的意义。?? 　　此外，音频分类与音频分段是相辅相成的。相同类型的音频片段一般持续几秒到几分钟，这些连续、同一类型的音频片段就构成了表达相同内容的音频语义单元。这些音频语义单元的边界可以用来为故事单元分割以及镜头分类等提供有意义的线索[5]。?? 　　很多研究者在音