基于内容的音频参数提取与动画控制实现.docVIP

基于内容的音频参数提取与动画控制实现 　　摘要:互联网上传送的数据以图像信息和音频信息等多媒体信息为主。近几年来,多媒体信息越来越趋向多元化和综合化,因而音频信息和视觉信息综合化也成为趋势。在此基础上,音频信息转化成视觉信息成为迫切需求。该系统以Visual C++为计算平台,提取出了4个音频特征参数,包括短时平均能量、过零率、频谱能量和倒谱值等。而动画对象采用Opengl技术绘制,动画的动作由提取出来的特征参数来控制,最终实现实时音频控制动画运动。 　　关键词:基于内容;音频;特征参数;动画;实现 　　中图分类号:TP393文献标识码:A文章编号:1009-3044(2009)33-9513-02 　　Content―based Audio Parameter Extraction and Animation Realization 　　ZHOU Wen 　　(Shandong normal university, Jinan 250014, China) 　　Abstract: On the Internet, the datas are transmitted primarily by multimedia informations, including image information and audio information. In the last few years, more and more multimedia informations tend to the multiplication and integration, thus the audio frequency information and the visual information integration also becomes the tendency . On this basis, the audio frequency information into the visual information has become the urgent demand. This system takes Visual C++ as the platform , extracts 4 audio frequency characteristic parameters, including Short-time moderate energy, Zero crossing rate, Frequency spectrum energy , Cepstrum value and so on. The animation object uses the Opengl technology plan.The animation movements are controlled by the characteristic parameter and finally the real-time audio frequency realizes. 　　Key words: content-based; audio; parameters; animation; realization 　　在当今数字化与网络化时代,多媒体信息逐渐成为互联网信息高速网络上所传送数据的主要部分。多媒体信息包括图像,音频和视频信息。其中,对声音信号进行数字化处理得到的信息就是音频信息。人耳在接受到音频信号后,这些音频信号被大脑皮层中的感知器官处理,而后形成音频场景。但是很多人不能形成音频场景,比如聋哑听力障碍人士。而且,随着多媒体信息的多元化和综合化,音频信息和视觉信息的综合化越来越成为趋势,那么如何将音频信息转化为视觉信息呢? 　　本文就该问题,提出了一种将音频信息转化成视觉信息的方法。首先提取音频信息的特征参数,然后用计算机图形学构造动画对象,最后用这些特征参数来控制动画视觉场景。本文结尾部分给出了这种方法的仿真结果。 　　1 音频特征提取 　　提取音频特征参数之前,首先要对音频文件进行加窗处理[1]。即把音频文件划分一个个小段,每个小段称为一帧,每帧的长度为500毫秒,相邻的两帧之间有340毫秒的重叠,然后对每帧进行音频特征提取。而所谓的音频特征就是用来表征音频信息的数据。根据特征空间的不同,特征提取分为在时域,频域和时频域三类[1]。 　　1.1 音频时域特征 　　音频的时域特征提取包括短时平均能量,过零率等。短时平均能量反映了音频能量幅度的变化,经常用来区分静音,非静音,清音和浊音[2]。描述函数为: 。其中x(n)表示第m个帧信号第n个采样信号值。过零率是指在一个短时帧内,离散采样信号值由正到负,由负到正变化的次数,反映了信号在短时帧内的