可视语音合成中基于音视频关联模型视位参数优化.pdfVIP

可视语音合成中基于音视频关联模型的视位参数优化 另子麦勇’一奏逮直峨2， 芜妙J ，清华大学 计算机科学与技术系普适计算教育部重点实验室，北京，100084 DepartmentofSystemsEngineeringandEngineeringManagement,theChineseUniversiytofHongKong,HongKong,China E-mail:wuzy99@ 清‘华大学计算机科学与技术系普适计算教育部重点实验室，北京，100084 E-mail: ，DepartmentofSystemsEngineeringandEngineeringManagement,theChineseUniversiytofHongKong,HongKong,China E-mail:hmmeng@.hk 摘要 本文针对可视语音合成中音视频匹配的问题，对语音与 视频之间的关联性进行了分析，基于动态贝叶斯网络建立了 针对具有表现力的可视语音合成中音视频匹配的问 音视频关联模型A^VCM(audio-visualcorrelativemodel)，对音 题，提出了一种基于音视频关联模型的视位参数优化的算 视频特征相关性和时序相关性进行了建模。并在基于参数控 法。该算法首先对语音与视频间的特征相关性和时序相关性 制的具有表现力的可视语音合成中，利用该模型根据当前合 进行了分析，建立音视频关联模型(AVCM);然后在基于参 成语音对视位参数序列进行优化，以生成与表现力合成语音 数控制的可视语音合成中，考虑当前合成语音对视位参数的 更为匹配的视位序列，从而提高可视语音合成的质量。 影响，基于关联模型对视位参数进行优化。实验表明，该方 法较好地解决了视位参数序列受语音影响的问题，使得合成 2.动态视位模型及视位参数生成 出的视位序列与当前的合成语音更为匹配，提高了可视语音 在动态视位模型4中，每个动态视位参数由一个基本控 合成的质量。该方法还可以应用在音视频映射的研究中。 制函数与前后两个无声模型的控制函数来决定，整个动态视 关甜绿 可视语音;视位;表现力:动态贝叶斯网络 位的参数变化过程由静态视位参数值及自然无声状态下的 参数按这三个控制函数加权形成。每个视位参数的基本控制 1。引言 函数随时间指数衰减。假设凡表示第i个视位的第P个视 语音及视觉是人们之间相互交流的重要手段，也是人机 位参数的控制函数值，定义 交互过程中最为方便直接的方式。语音的发声与人脸视觉特 apee01一())ITr， 马 犷 r_0 - 一