双模态语音识别视频特征快速提取方法的研究.pdf

摘 要 双模态语音识别技术已成为国内外研究热点，通过将唇动信息加入到原有语音识 别系统中，以提高语音识别率。本文重点研究双模态语音识别技术中视频特征的快速 提取方法，采用了局部限制模型的方法(CLM)来实现。 首先建立唇部形状模型，对数据库的唇部进行标定，然后对标定数据进行Procrustes 模型。其次，建立了唇部强度模型，在标定特征点周围提取图像作为训练数据，用线 性支持向量机对数据进行训练来建立强度模型。最后，利用建立的模型对测试图像唇 部进行特征提取。实验结果表明，CLM可实现唇部特征的提取工作，选用的19个特 征点唇部标定方案相比以往标定方法可更快速地提取唇部特征。 关键字：局部限制模型；唇部特征；模型；特征提取 ABSTRACT becomea the Bimodal has focus，throughaddinglip speechrecognitiontechnology informationtothe SOasto the movement system improve previousspeechrecognition ofthe uses rate。This studiesthefastextractionmethod videos，and recognition paper ConstrainedLocal achieveit． Model(CLM)to the the model．Labelthe ofthedatabaseto coordinates， Firstly，buildlipshape lip get tothe do anddotheProcrustes coordinates，then Analysis analysis PrincipleComponent thedataafterProcrustesto the the model．Secondly，buildlip (PCA)on analysisget shape aroundthecoordinatesasthe usethe model．Extractthe data，and intensity patches training to linearSVMtotrainthe to the thebuiltmodel model．Finally，use patchesget intensity