唇读发声器中视信息的检测与处理.pdfVIP

中文摘要中又捅斐 为恢复那些后天致残、但仍然具有正确唇彤特征语言残障者的语音表达能 力，探索建立一个摹于视觉信息的唇形识别发声系统，本研究把从嘴唇图像序列 中提取的视觉信息作为一种特殊语言加以分析识别。在研究中，对视觉信息检测 与处理中的一些基本问题，如视觉信息与语音信息的对应关系，嘴唇区域和唇形 轮廓所包含的信息量，最佳唇读系统特征向量的选取，以及自动有效地提取与识 别唇形特征的方法进行了深入分析。 论文的主要研究内容包括： 1．通过分析正面和侧面视角下人脸图像的特点，建立一种新的非对称唇形 轮廓描述模型，其中既包含嘴唇高度、宽度等信息，又包含嘴唇突出度信息，同 时计算各个参数对时间的导数，来获得唇形轮廓的动态信息，通过组合不同的特 征参数，分析参数选择对识别效果的影响，基于独立汉字发音的实验表明，该模 型能够将识别效果平均提高25％以上。并且据此模犁设计建立了基于常用汉字、 面向残疾人的汉语双模语音数据库。 2．基于运动检测和数学形态学方法对唇动序列的灰度图像进行处理，得到 唇形区域和唇形轮廓，然后从唇形区域提取嘴唇宽度的投影彬，外唇轮廓的高 度日，嘴唇突出度的投影信息F，并且考察它们对时间的导数关系，得到 dW／dt，媚／dt，dF／dt等差分特征参数，组合形成6维几何特征向量。 3．利用离散傅里叶变换(DFT)和离散余弦变换(DCT)分别得到描述唇形轮廓 特征的傅里叶描述子和离散余弦变换描述子，然后将两类描述子作为唇形轮廓的 特征向量，采用隐马尔可夫模型(HMM)进行学习和识别，分析了两类描述子刻 画唇形轮廓特征的能力。 4．采用特征融合技术提高特征向量分类识别能力，用串联加权组合的方法， 将唇形区域几何特征向量和由离散余弦变换描述予表述的唇形轮廓特征向量融 合形成新的特征向量，应用HMM对其进行学习和识别，分析不同加权因子下的 识别效果。 5．选用二阶HMM来对唇形特征参数序列进行学习和识别，利用了各帧唇 形特征向量之间的上下文相关性，更符合汉语发音方式，通过实验分析比较了一 阶HMM和二阶HMM对相同特征向量的识别能力。 关键词：康复：l二程唇形识别非对称轮廓模型运动检测正交变换特征融合 隐马尔可夫模型 ABSTRACT InordertO acommunicationfor develop approachvoice—impairedpeople，a drivenvisual is visual speechsynthesissystem by speechapproached．The informationof from themouth isusedasa in lip—movement region speciallanguage this this fundamentalare system．Inresearch，some ashowtO problemsexplored，such correlatethe visualinformationwithsound muchinformationcan information，how beextracted fromthe and muchthe contours，how ofthe lipregionlip parameterslip featurescancontributetoarobust