语音信号处理课件短时傅立叶分析与综合与听觉特征.ppt

人耳感知原理 信号调制 1.载波 语音信号的调制解释 语音可看作多个信号被调制到多个载波后叠加的结果 频域掩蔽 耳蜗的恒Q特性 美尔（MEL)频率 前向掩蔽：若被掩蔽声A出现后，相隔(0.05s,2s)之内出现了掩蔽声B，对A起掩蔽作用，因为A声尚未被人所反应接收而强大的B声已来临。 短时掩蔽 前向掩蔽和后向掩蔽 后向掩蔽：掩蔽声B即使消失后，其掩蔽作用仍将持续一段时间，约(0.5s,2s)，这时由于人耳的存储效应所致。 * * SDTFT的两种解释 1.滤波解释 2.调制解释 （1） 滤波观点 （3） （2） 可解释为x(n)调制到频率ω0 调制观点 （4） （3）式改写为 特点：频率较高 2.被调制信号 一般来说，频率远低于载波 调制后的信号 二、语音听觉系统（一个十分巧妙的音频信号处理器） 人类接收语音由人耳来完成，空气振动由耳廓收集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓室中的空气和听骨链也发生振动，听骨链的振动经前庭窗（卵圆窗）激励前庭淋巴，变为液波，液波使位于基底膜上的螺旋器受到刺激，将神经冲动经听神经传到中枢而产生听觉。 正常人的听觉系统是极为灵敏的，可听声的范围为0.02Hz-20kHz。 可听声的最小声压级(dB)称为听阈。-5 130dB，对低频和高频是不敏感的，听阈为60dB，在1kHz附近最敏感。 0.000063 0.0002 0.00063 0.002 0.02 0.063 0.63 20 200 声压/Pa 10 农村静夜 20 树叶沙沙声 30 耳语 40 安静房间 60 普通谈话 70 繁华街道 90 地铁 100 织布车间 140 飞机附近 声压级/dB 声源 1. 耳的结构（外耳、中耳和内耳）和功能 外耳：对声源定位和对声音放大的作用，由耳廓和外耳道组成。 ☆耳廓呈漏斗型，其作用是收集声音。 ☆外耳道直至鼓膜，其中充满空气，是一谐振腔，使谐振频率附近的频率成分有某些放大作用，导致声音有某些失真。 外耳道的长度为2.5cm，对波长为其4倍作用的声波能起到较好的放大作用，即有：4?2.5=10cm， 3000-4000Hz声波的波长为8.5cm-11.41cm，因此外耳道对这部分频率的信号有扩音作用，10dB左右。 外耳道 中耳 ★ 结构：总容量为2立方厘米，内含三块听小骨，锤骨、砧骨、镫骨，其中锤骨与鼓膜相接触，镫骨则与内耳的前庭窗相接触。 ★ 作用：进行阻抗变换，将中耳两端的声阻抗匹配起来；保护内耳。在一定声强范围内，听小骨实现声音的线性传递，而在特强声时，实现非线性传递。 内耳 ★ 结构：主要部分是耳蜗，耳蜗长约3.5cm，呈螺旋状盘绕2.5-2.75圈，是一个密闭的管子，内部充满了淋巴液。 前庭窗 镫骨 基底膜 ★ 作用：将振动变换为神经冲动。当声音传入中耳时，镫骨的运动经过前庭窗引起耳蜗内液体压强的变化，从而引起行波沿基底膜的传输，引起基底膜的振动。不同频率的声音产生不同的行波，其峰值出现在基底膜的不同位置上。基底膜的振动导致沿基底膜分布的毛细胞的电位发生改变，引起神经冲动，传递给大脑，产生听觉。 如果信号是一个多频率的信号，则产生的行波将沿着基底膜在不同的位置产生最大幅度，从这个意义上讲，耳蜗就像一个频谱分析仪，将复杂信号分解成各种频率分量，这种作用称为人耳的时频分析特性。耳蜗在语音接收过程起着重要的作用。 人工耳蜗是一种电子装置，能帮助重度及极重度耳聋患者获得或重新恢复听觉。它代替病变受损的听觉器官，把声音转换成编码的电信号传入内耳耳蜗，刺激分布在那里的听神经，再由大脑产生听觉。 人工耳蜗 麦克风接收声音，并通过导线将其传至言语处理器；言语处理器对声音进行数字化、滤波编码等处理，并将编码信号经导线传至传输线圈；传输线圈将编码信号通过耦合传至皮下的接收器；接收器对编码信号进行解码；按信号选择一定位置的电极，刺激耳蜗内的听神经纤维，使其产生兴奋，将信号传入大脑，产生听觉。 人工耳蜗的工作原理 2.声音传入内耳的途径 由空气传导，称为气导，其过程为： 声波 耳廓 鼓膜 听骨 内耳 基底膜上 毛细胞电位改变 神经冲动 由骨传导，称为骨导，其过程为： 声波 颅骨 外淋巴振动 内耳 基底膜上毛细胞电位改变 神经冲动 3. 人耳的两个重要特性 （1）耳蜗对声信号的时频分析特性 （2）人耳的掩蔽效应 人耳的掩蔽（masking phenomenon）效应:在一个强信号附近弱信号将变得不可闻，被掩蔽掉了。 掩蔽阈值 被掩蔽掉的不可闻信号的最大声压级称为掩蔽门限和掩蔽阈值