基于改进异步DBN模型的听视觉融合情感识别.pdfVIP

162 2014，50 21 ComputerEngineeringandApplications计算机工程与应用 基于改进异步DBN模型的听视觉融合情感识别 张晓静 ，蒋冬梅 1,27FAN Ping，SAHLIHichem ZHANGXiaojing一，JIANGDongmei一，FANPing，SAHLIHichem 1．西北工业大学 计算机学院，西安 710072 2．陕西省语音与图像信息处理重点实验室，西安 710072 3．布鲁塞尔 自由大学 电子与信息系，比利时 布鲁塞尔 1050 1．SchoolofComputerScience，NorthwesternPolytechnicalUniversity，Xi’an710072，China 2．ShaanxiProvincialKeyLaboratoryonSpeechandImageInformationProcessing，Xi’an710072，China 3．DepartmentofElectronicsandInformatics，VrijeUniversiteitBrussel，Brussel1050，Belgium ZHANGXiaojing，JIANGDongmei，FANPing，eta1．Audiovisualemotionrecognitionbasedonmodifiedasynchro— nousDBNmodels．ComputerEngineeringandApplications，2014，50 21 ：162—165． Abstract：ThispaperproposesamodifiedtriplestreamasynchronousDBNmodel VVA AsyDBN foraudiovisualemo— — tionrecognition，withthetwovisualfeaturestreams，facialgeometricfeatures GF andfacialactiveappearancemodel features AAM ．synchronousatthestatelevel，whiletheyareasynchronouswiththeaudiofeautrestream Me1Filterbank Cepstrum Coemcients．MFCC withincontrollableconstraints．Emotionrecognitionexperimentsareca~iedoutonthe eNTERFACE’05database．andresultsarecomparedwiththetraditionalstatesynchronousMulti—Stream HiddenMarkov Model MSHMM ．aswellastheasynchronousDBNmodel TAsyDBN withtwoaudiofeaturestreams MFCCand1oca1 prosodicfeaturesLP andonevisualfeaturestream．Resultsshow thatVVA AsyDBN obtainsthehighestperformance — upto75．61％ ，whichis12．50％ higherthanthevisualonlyHMM ，2．32％ higherthantheM SHMM withMFCC，AAM andGF features．and 1．65％ higherthantheT AsyDBN modelwithM FCC andLPfeaturesaswellasAAM features． Keywords：audiovisualfusion；DynamicBayesianNetwork DBN ：ActiveAppearanceModel AAM ：asynchrony constraint 摘 要：提 出了一个改进的三特征流听视觉融合异步动态贝叶斯网络情感模型 VvAAsyDBN ，采用面部几何特征 — GF 和面部主动外观模型特征 AAM 作为两个视觉输入流，语音MelJ谱特征 MFCC 作为听觉输入流，且视觉流 的状态和听觉流的状态可以存在有约束的异步。在eNTERFACE’05听视觉情感数据库上进行 了情感识别实验 ，并 与传统的多流同步隐马尔可夫模型 MSHMM ，以及具有两个听觉特征流 语音MFCC和局域韵律特征LP 和一个 视觉特征流的听视 觉异步DBN模型 TAsyDBN 进行 了比较 。实验结果表 明，VVA AsyDBN 获得 了最 高识别率 _ 75．61％