基于发音轨迹的可视语音合成-计算机应用与软件.PDF

第３０卷第６期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．６ ２０１３年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１３ 基于发音轨迹的可视语音合成 １，２ １ ２ ２ 郑红娜 　白　静 　王　岚 　朱　云 １（太原理工大学信息工程学院　山西太原０３００２４） ２（中国科学院深圳先进技术研究院　广东深圳５１８０５５） 摘　要　　着眼于语音可视化。为呈现真实说话人各发音器官的运动，提出一种改进的ＣＭ协同发音模型，并采用该方法合成汉字 的发音轨迹，进而以此驱动和控制虚拟３Ｄ音视频说话人头模型，直观呈现通常可见及不可见发音器官的发音运动。实验证明：由 改进方法获得的合成发音轨迹更逼近真实发音轨迹。同时，为了定量比较舌读和唇读在语音感知和识别中的作用，设计三组感知实 验，实验结果显示：叠加了唇读信息的感知识别率较单纯的加噪语音的识别率提高了２５．８％；而叠加了舌读信息的识别率较单纯听 觉信息的识别率提高了２６．７％。因此，当语音恶化时，舌读信息可提供大于唇读信息的补充作用，且舌读信息与唇读信息一样具有 识别力。 关键词　　语音可视化　ＣＭ协同发音模型　改进的ＣＭ协同发音模型　舌读　唇读 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．０６．０６７ ＶＩＳＵＡＬＳＰＥＥＣＨＳＹＮＴＨＥＳＩＳＢＡＳＥＤＯＮＡＲＴＩＣＵＬＡＴＯＲＹＴＲＡＪＥＣＴＯＲＹ １，２ １ ２ ２ ＺｈｅｎｇＨｏｎｇｎａ 　ＢａｉＪｉｎｇ　ＷａｎｇＬａｎ　ＺｈｕＹｕｎ １（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＴａｉｙｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ０３００２４，Ｓｈａｎｘｉ，Ｃｈｉｎａ） ２（ＳｈｅｎｚｈｅｎＩｎｓｔｉｔｕｔｅｓｏｆＡｄｖａｎｃｅｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｓｈｅｎｚｈｅｎ５１８０５５，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｏｎｓｐｅｅｃｈｖｉｓｕａｌｉｓａｔｉｏｎ．ＡｍｏｄｉｆｉｅｄＣＭｃｏａｒｔｉｃｕｌａｔｉｏｎｍｏｄｅｌｉｓｐｒｅｓｅｎｔｅｄｉｎｏｒｄｅｒｔｏｄｉｓｐｌａｙｔｈｅｍｏｖｅｍｅｎｔ ｏｆｅａｃｈａｒｔｉｃｕｌａｔｏｒｙｏｒｇａｎｏｆｒｅａｌｓｐｅａｋｅｒｓ，ｉｔｉｓｅｍｐｌｏｙｅｄｔｏｈａｖｅｓｙｎｔｈｅｓｉｓｅｄｔｈｅａｒｔｉｃｕｌａｔｏｒｙｔｒａｊｅｃｔｏｒｙｏｆＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓ，ａｎｄｉｓｆｕｒｔｈｅｒ ｕｓｅｄｔｏｄｒｉｖｅａｎｄｃｏｎｔｒｏｌａｖｉｒｔｕａｌ３Ｄａｕｄｉｏｖｉｓｕａｌｔａｌｋｉｎｇｈｅａｄｍｏｄｅｌ，ｉｎｔｕｉｔｉｖｅｌｙｓｈｏｗｓｔｈｅａｒｔｉｃｕｌａｔｏｒｙｍｏｔｉｏｎｓｏｆｔｈｅａｒｔｉｃｕｌａｔｏｒｙｏｒｇａｎｓｕｓｕ ａｌｌｙｖｉｓｉｂｌｅａｎｄｉｎｖｉｓｉｂｌｅ．Ｅｘｐｅｒｉｍｅｎｔｐｒｏｖｅｓｔｈａｔｔｈｅｓｙｎｔｈｅｓｉｓａｒｔｉｃｕｌａｔｏｒｙｔｒａｊｅｃｔｏｒｙｏｂｔａｉｎｅｄｆｒｏｍｔｈｅｍｏｄｉｆｉｅｄｍｅｔｈｏｄａｐｐｒｏａｃｈｅｓｍｏｒｅｔｈｅ ａｃｔｕａｌａｒｔｉｃｕｌａｔｏｒｙｔｒａｊｅｃｔｏｒｙ．Ｍｅａｎｗｈｉｌｅ，ｉｎｏｒｄｅｒｔｏｑｕａｎｔｉｔａｔｉｖｅｌｙｃｏｍｐａｒｅｔｈｅｒｏｌｅｓｏｆｔｏｎｇｕｅｒｅａｄｉｎｇａｎｄｌｉｐｒｅａｄｉｎｇｉｎａｒｔｉｃｕｌａｔｏｒｙｐｅｒｃｅｐ ｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎ，ｔｈｒｅｅｇｒｏｕｐｓｏｆｐｅｒｃｅｐｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓａｒｅｄｅｓｉｇｎｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔ