ch2-音频信息的获取与处理.pptVIP

多媒体技术基础 申煜湘 湖南大学软件学院 rj_syx@ 2011.02.16 第二章 音频信息的获取与处理 第二章的内容 音频信号的概念 声音与音频 数字音频 模拟音频和数字音频 音频的数字化 数字音频的文件格式 音频的编码 算法和标准 声卡 结构和原理 音乐合成与MIDI 语音识别技术 常用软件 第一节 音频信号的概念 声音携带信息，是表达思想和情感的一种重要媒体。 声音数据具有很强的前后相关性，数据量大，实时性强，又由于声音是连续的，所以通常称之为连续型时基媒体。 声音的分类 通常可以把声音分成三种： 语音：是语言的载体，是对讲话声音的抽象，包含有语言、语音学的内涵。 音乐。 效果声：其他自然界和社会中的声音。 合理使用声音可使多媒体应用系统更加丰富多彩。 1.1 声音的本质 声音是一种机械波，由机械振动产生，能在介质中传播，也称作声波。 声波在时间上是连续的，可以用曲线来描述，而无论这条曲线多么复杂，都可被分解成一系列正弦波的线性叠加。 对于正弦波，有两个重要的参数，即频率和幅度。 频率 声源每秒钟所产生的波峰数量称为信号的频率，单位为赫兹(Hz)。 周期 周期：对于正弦波，两个波峰点（或两个波谷点）出现的间隔时间。 周期是一个与频率紧密相关的参数，它们之间的关系：互为倒数。 幅度 幅度：也叫振幅，是波峰或波谷到信号的基线之间的距离。 按频率分类 声音信号按频率可分成三类： 亚音信号(Subsonic)：频率小于20Hz的信号，也称为次音信号； 音频信号(Audio)：频率范围为20Hz～20kHz的信号； 超音频信号：频率高于20kHz的信号，也称为超声波信号(Ultrasonic)。 复合信号 通常的声音是由许多频率不同的信号组成的，这类信号称为复合信号，单一频率的信号称为分量信号。 复音——钢琴的频谱 乐音和噪音 如果一个物体振动所发出的泛音为基音的整数倍，这个音就会具有清晰可辨的音高，称之为乐音。如钢琴，小提琴等发出的都是乐音。 如果泛音是基音的非整数倍，这个音就不具备清晰可辨的音高，称之为噪音。如汽车发动机、计算机风扇等发出的都是噪音。 声音的特性 声音有三个重要的特性（三要素）： 音高，也称音调，与频率有关； 音色，由混入基音的泛音所决定； 音强，也称响度，与幅度有关。 音高 音高：也称音调，取决于声音的频率，频率越高，音高就越高。 对于复合信号，基频越高，其音高就越高，基频取对数后与人的音高感觉呈线性关系。 在处理声音素材的时候，可以通过改变声音的频率来提高或减低音调。 音高与频率的关系 音色 不同的发音体所发出的声音都有自己的特色，比如不同的乐器。 对于复合信号，音色是由混入基音的泛音所决定的：泛音的幅度比例不同、随时间衰减的程度不同，音色就不同。 如果中高频泛音丰富，音色就明亮；反之音色就暗淡。 音强 音强：指声音信号的强弱程度，与声音信号的幅度有关。 人耳对声音细节的分辨与音强有关，只有强度适中时，人耳辨音才明显。 通常用声音信号的幅度值取对数后再乘20所得的值来描述音强，单位为分贝(dB)，即音量。 人耳对同样强度但不同频率的声音，其主观感觉的强弱是不同的。 人们对声音强度的主观感觉又称响度。 声音质量的评价 声音质量的评价是一个很困难的问题，也是一个值得研究的课题。 目前声音质量的度量有两种基本方法： 客观质量度量：主要指标是信噪比SNR，即有用信号与噪声之比，单位是分贝。 主观质量度量：即由人来综合评判，主要方法有主观平均判分法MOS。 MOS的五个等级 声音质量与带宽 声音的质量与它所占用的频带宽度有关，频带越宽，信号强度的相对变化范围就越大大，声音的质量和效果也就越好。 按照带宽可将声音质量分为4级： 数字激光唱盘质量 ，即超高保真Super HiFi (Super High Fidelity)。 调频无线电广播，简称FM质量。 调幅无线电广播，简称AM质量。 电话质量。 1.2 音频 音频(Audio)：主要指20Hz～20kHz频率范围内的声音，属于听觉类媒体。 音频信号可分为两大类： 语音信号：语言的载体，包含丰富的语言内涵，是人类进行信息交流所特有的形式。 非语音信号：包括音乐和自然界存在的其他声音形式，不具有复杂的语义和语法信息，信息量低，识别较简单。 音频信号的特点 音频信号是时间依赖的连续媒体，音频处理的时序性要求高，延迟时间应≤25ms ； 计算机模拟自然声音，应有两个声道，即理想的合成声音为立体声； 语音信号处理时要抽取语音，将涉及到语音学、社会学、声学等内容。 第二节 数字音频 音频信息在多媒体中的应用极为广泛： 利用计算机播放各种悦耳的音乐； 给静态或动态图像配以解说或背景音乐，可使图像充满生气； 语音电子邮件； 游戏中的音响效果可更