多媒体计算机技术-3.pptVIP

多媒体计算机技术 第三讲 数字信号处理基础 信号处理的基本术语 人类的听觉特性和视觉特性 音频信号处理基础 图像信号处理基础 数字视频处理基础 常用的信号处理算法 常用的编码算法 信号处理的基本术语 信号的数字化处理包括两个步骤，一个是信号在时间上的离散化，即采样；另一个是幅度上的离散化，即量化。数字化之后的信号，将全部变为0、1序列，这就使得信息的采集、存储、传输、复制、加工异常方便。 采样也称抽样，是信号在时间上的离散化，即按照一定时间间隔△t在模拟信号x(t)上逐点采集其瞬时值。它是通过采样脉冲和模拟信号相乘来实现的 量化是对幅值进行离散化，即将振动幅值用二进制量化电平来表示 第三讲 数字信号处理基础 √ 信号处理的基本术语 人类的听觉特性和视觉特性 音频信号处理基础 图像信号处理基础 数字视频处理基础 常用的信号处理算法 常用的编码算法 人类的听觉特性和视觉特性 人耳的听觉特性 人眼的视觉特性 人耳的听觉特性 听域 响度级(loudness level)和响度(loudness) 音调(pitch) 掩蔽效应（masking effect） 听域 听觉阈值的大小随声音频率的改变而改变，不同的人的听觉阈值也不同。大多数人的听觉系统对2～5 kHz之间的声音最敏感。一个人是否能听到声音取决于声音的频率，以及声音的幅度是否高于这种频率下的听觉阈值。显然，低于听觉阈值的信号在声音压缩时可以去掉。 正常人可听声音的频率范围为20Hz～16kHz，考虑到正常语音的频谱范围一般在20Hz～4kHz之间，语音识别系统通常采用8kHz的采样频率。 响度级和响度 为了衡量人耳辨别不同纯音的不同灵敏度，定义声音的响度级P(phon)，数值上1P等于1kHz纯音的声强级。确定声音的响度级时，需将其与1kHz的纯音相比较，调节1kHz纯音的声强，使其听起来与待测音同样响。此时，1kHz纯音相对于20?Pa的声压级就规定为该声音的响度级。 当频率较高或较低时，必须有较高的响度，人耳才能感觉到。当频率超过15 kHz时，人耳的会感觉到声音很小，很多听觉不是很好的人，根本就听不到频率20 kHz的声音，不管响度有多大。 音调 音调是人分辨声音高低时，描述这种感受的一种特性。相对频率低的声音，听起来感觉其音调低，而频率高的声音，听起来感觉其音调高。 但是音调与声音的频率并不成正比关系，它还与声音的强度和波形有关。 掩蔽效应 心理声学模型中的另一个概念是听觉掩蔽效应，即一个强的语音信号可以掩盖一个相邻的弱信号。 当两个响度不同的声音同时作用于人耳时，响度较高的频率成分会影响人耳对响度较低的频率成分的感知，使其变得不宜觉察，这种现象被称为掩蔽效应。 人类的听觉特性和视觉特性 √人耳的听觉特性 人眼的视觉特性 人眼的视觉特性 人眼的视觉系统是世界上最好的图像处理系统，但它还远远不完美。人眼的视觉系统对图像的认知是非均匀的和非线性的，并不是对图像中的任何变化都能感知。 对比灵敏度 : 分辨率: 马赫效应 : 第三讲 数字信号处理基础 √信号处理的基本术语 √人类的听觉特性和视觉特性 音频信号处理基础 图像信号处理基础 数字视频处理基础 常用的信号处理算法 常用的编码算法 音频信号处理基础 声音信号的特点 声音信号的分类 语音采样 预加重 加窗 短时能量 短时过零率 声音信号的特点 声音是通过空气传播的一种连续的波，如图所示。这种连续性表现在两个方面，一个是时间上的连续性，另一方面是指它在幅度上是连续的。 声音信号的特点 基频与音调 谐波与音色 幅度与音强 音宽与频带 基频与音调 频率是指信号每秒钟变化的次数。人对声音频率的感觉表现为音调的高低，在音乐中称为音高。音调正是由频率ω所决定的。音乐中音阶的划分是在频率的对数坐标20×log）上取等分而得的： 谐波与音色 nωO称为ωO的高次谐波分量，也称为泛音。音色是由混入基音的泛音所决定的，高次谐波越丰富,音色就越有明亮感和穿透力。不同的谐波具有不同的幅值An 和相位偏移ψn ，由此产生各种音色效果。 幅度与音强 人耳对于声音细节的分辨只有在强度适中时才最灵敏。人的听觉响应与强度成对数关系。一般的人只能察觉出3分贝的音强变化，再细分则没有太多意义。我们常用音量来描述音强，以分贝（dB=20log）为单位。在处理音频信号时，绝对强度可以放大，但其相对强度更有意义，一般用动态范围定义：动态范围＝20×log(信号的最大强度/信号的最小强度)(dB) 音宽与频带 频带宽度或称为带宽，它是描述组成复合信号的频率范围 声音信号的分类 语音采样 将话筒中传来的语音信号转换成计算机所能处理的数字信号，这个从模拟量到数字量的转变过程称为模－数转换。 根据Nyquist采