面向语音情感识别的语谱图特征提取算法.pdfVIP

第45卷第5期 东 南大 学 学报 (自然科学版) Vo1．45 NO．5 2015年 9月 JOURNALOFSOUTHEASTUNIVERSITY (NaturalScienceEdition) Sept．2015 doi：10．3969／j．issn．1001—0505．2015．05．001 面 向语音情感识别的语谱 图特征提取算法 陶华伟 查 诚 梁瑞宇 张昕然 赵 力 王青云 (东南大学水声信号处理教育部重点实验室，南京210096) (南京工程学院通信工程学院，南京211167) 摘要：为研究信号相关性在语音情感识别中的作用，提出了一种面向语音情感识别的语谱图特 征提取算法．首先，对语谱图进行处理，得到归一化后的语谱图灰度图像；然后，计算不同尺度、不 同方向的Gabor图谱，并采用局部二值模式提取Gabor图谱的纹理特征；最后，将不同尺度、不同 方向Gabor图谱提取到的局部二值模式特征进行级联，作为一种新的语音情感特征进行情感识 别．柏林库(EMO-DB)及FAUAiBo库上的实验结果表明：与已有的韵律、频域、音质特征相比， 所提特征的识别率提升3％以上；与声学特征融合后，所提特征的识别率较早期声学特征至少提 高5％．因此，利用这种新的语音情感特征可以有效识别不同种类的情感语音． 关键词：情感识别；语谱图；图像纹理特征；局部二值模式 中图分类号：TP391．42 文献标志码 ：A 文章编号：1001—0505(2015)0543817-05 Spectrogram featureextractionalgorithm forspeechemotionrecognition TaoHuawei ZhaCheng LiangRuiyu · ZhangXinran ZhaoLi WangQingyun · (KeyLaboratoryofUnderwaterAcousticSignalProcessingofMinistryofEducation，SoutheastUniversity，Nanjing210096，China) (SchoolofCommunicationEngineering，NaniingInstituteofTechnology，Nanjing211167，China) Abstract：Inordertostudytheroleofsignalcorrelationinemotionalspeechrecognition，aspectro— gram featureextractionalgorithm forspeechemotionrecognitionisproposed．First，speechsignalis quantizedasspeechspectrum ayimageafterpreprocessing．Then，theGaborspectrum imageswith differentscalesand differentdirectionsarecalculated，andhtetexturefeaturesraeextractedbylocal binarypattern (U3P)．Finally，hteLBPfeaturesofhteGaborspectrogram imageswithdifferent scalesanddifferentdirectionsareioinedtOform anew featureforemotionrecognition．Theexperi． mentalresultsofEMO—DB andFAU AiBoshow htattherecognitionrateofhteproposedfeaturescan beraisedtoatleast3％ higherthna thoseoftheconventionalrhythm andfrequencydomainfeatures． Afterfusionwithacousticf