语音信号处理复习华南理工.docx

语音信号处理复习第二章语音信号处理基础知识1，定义：（1）语音是指人们讲话时发出的话语，它是一种声音，具有声学特征的物理特性。而它又是一种特殊的声音，是人们进行信息交流的声音，是组成语言的声音。因此语音是语言和声音的组合体。（2）语音是由人的发声器官发出的一种声波，它具有音色、音调、音强和音长。①音色：是一种声音区别于另一种声音的基本特征②音调：指声音的高低，取决于声波的频率③音强：指声音的强弱，取决于声波的振幅④音长：指声音的长短，取决于发音时间的长短（3）任何语言都有语言的元音和辅音两种音素：元音：当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇腔出去时，这些声腔完全开放，气流顺利通过。一个重要的声学特性是共振峰。辅音：由于通路的某一部分封闭起来或者受到阻碍，气流被阻不能畅通。包括清音和浊音。①浊音：声带振动②清音：声带不振动（4）人的听觉系统有两个重要的特性：①时频分析特性：人的耳蜗就像一个频谱分析仪，将复杂的信号分解成各种频率分量。②听觉掩蔽效应：心理声学中的听觉掩蔽效应指在一个强信号附近，弱信号将变得不可闻，被掩蔽掉了。掩蔽效应分为同时掩蔽和短时掩蔽。2，语言信号生成的数学模型：①激励模型：在声门（声带）以下，称为“声门子系统”，它负责产生激励振动，是激励系统②声道模型：从声门到嘴唇的呼气通道是声道，是声道系统③辐射模型：语音从嘴唇辐射出去，则嘴唇以外是辐射系统3，语音信号的特性分析：（1）语音信号的时域波形和频谱特性：①时域波形：周期性，周期对应声带振动的频率，即基音频率。②频谱特性：共振峰特性。元音频谱有明显的几个凸起点，它们出现的频率就是共振峰频率。清辅音频谱峰点之间的间隔是随机的，没有周期分量。（2）语谱图：语谱图是一种三维图谱，它是表示语音频谱随时间变化的图形，其纵轴为频率，横轴为时间，任一给定频率成分在给定时刻的强弱用相应点的灰度或色调的浓淡来表示。语谱图中显示了大量的与语音的语句特性相关的信息，它综合了频谱图和时域波形的特点，明显地显示出语音频谱随时间的变化情况，或者说是一种动态的频谱。记录这种谱图的仪器就是语谱仪。语谱图中的花纹有横杠、竖直条和乱纹等。①横杠：与时间轴平行的几条深黑色带纹，它们相应于短时谱中的几个凸点，也就是共振峰。②竖直条：与时间轴垂直的一条窄黑带，每个竖直条相当于一个基音，条纹间的距离表示基音周期。③乱纹：清擦音从语谱图上看表现为乱纹，乱纹的深浅和上下限反映了噪声能量在频域中的分布。4，语音信号的统计特性：语音信号的统计特性可以用它的波形振幅概率密度函数和一些统计量（如均值和自相关函数）来描述。第三章语音信号分析1，概述：语音信号的特性及表征其本质特征的参数均是随时间变化的，所以它是一个非平稳过程。虽然它具有时变特性，但是从一个短时间范围（10~30ms）内，其特性基本保持不变，即相对稳定，可以将其看作一个准稳态过程，也就是短时平稳过程。2，语音信号的预处理：①预加重：通常语音信号的高频分量很小，预加重目的是提升高频部分，使信号频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱，以便于频谱分析或声道参数分析。②加窗分帧：分帧通过可移动的有限长度窗口进行加权的方法实现。3，语音信号的时域分析：（1）语音信号的时域分析就是分析和提取语音信号的时域参数：短时能量、短时过零率、短时自相关函数和短时平均幅度差函数。①短时能量：②短时过零率：表示一帧语音中语音信号波形穿过横轴（零电平）的次数。浊音具有较低的过零率，而清音具有较高的过零率。③短时自相关函数：④短时平均幅度差函数：4，语音信号的频域分析：分析语音信号的频域特征，使用短时傅立叶变换对语音信号的频谱进行分析。5，语音信号的倒谱分析：（1）同态信号处理：指将非线性问题转换成线性问题的处理方法。由于语音信号可以视为声门激励信号和声道冲激响应的卷积，因此可以通过卷积——乘积——加法的方法来处理。（2）倒谱与复倒谱：倒谱是语音信号的对数幅度谱的傅里叶逆变换，得到的是频域信息。复倒谱是语音信号对数频谱的傅立叶逆变换，得到的是时域信息。6，MFCC特征提取流程：①对输入语音进行预加重、加窗、分帧处理②FFT变换③取绝对值或者平方④Mel滤波：⑤取对数⑥离散余弦变换DCT：⑦动态特征MFCC，输出特征向量7，语音信号的线性预测：线性预测的基本思想是用过去的p个样点值来预测现在或未来的样点值。8，基音周期的估计：基音是指发浊音时声带振动所引起的周期性，而基因周期是指声带振动频率的倒数。主要包括以下三种方法：①自相关法②平均幅度差法③倒谱法。9，共振峰估计：声道可以看成一根具有非均匀截面的声管，在发音时起共鸣器的作用。当准周期脉冲激励进入声道时会引起共振特性，产生一组共振频率，称为共振峰。共振峰参数包括共振峰频率和频带宽度。共振峰信息包