基于改进对比散度的GRBM语音识别-武汉大学学报·信息科学版.PDF

第41卷　 第5期 　 计 算 机 工 程 2015年5月 　 　 Vol.41　 No.5 　 Computer Engineering May2015 ·人工智能及识别技术 · 文章编号:1000-3428(2015)05-0213-06　 　 　 文献标识码:A　 　 　 中图分类号:TP391.4 基于改进对比散度的GRBM语音识别 赵彩光,张树群,雷兆宜 (暨南大学信息科学技术学院,广州510632) 摘　 要:对比散度作为训练受限波尔兹曼机模型的主流技术之一,在实验训练中具有较好的测试效果。 通过结合 指数平均数指标算法和并行回火的思想,提出一种改进对比散度的训练算法,包括模型参数的更新和样本数据的 采样,并将改进后的训练算法应用于高斯伯努利受限玻尔兹曼机(GRBM)中训练语音识别模型参数。 在TI-Digits 数字语音训练和数字测试数据库上的实验结果表明,采用改进的对比散度训练的GRBM 明显优于传统的模型训练 算法,语音识别率能够达到80%左右,最高提升7%左右,而且应用改进算法训练的其他GRBM对比模型的语音识 别率也都有所提高,具有较好的识别性能。 关键词:对比散度;高斯伯努利受限玻尔兹曼机;受限玻尔兹曼机;指数平均数指标;并行回火;语音识别;深度神经 网络 中文引用格式:赵彩光,张树群,雷兆宜.基于改进对比散度的GRBM语音识别[J].计算机工程,2015,41(5):213-218. 英文引用格式:Zhao Caiguang,Zhang Shuqun,Lei Zhaoyi. Speech Recognition of Gaussian-Bernoulli Restricted Boltzmann Machine Based on Improved Contrastive Divergence[J].Computer Engineering,2015,41(5):213-218. Speech Recognition of Gaussian-Bernoulli Restricted Boltzmann Machine Based on Improved Contrastive Divergence ZHAO Caiguang,ZHANG Shuqun,LEI Zhaoyi (College of Information Science and Technology,Jinan University,Guangzhou510632,China) 【Abstract】 Contrastive divergence has a good result for training restricted Boltzmann machine model as one of the mainstream training algorithm in the experiments. An improved contrastive divergence based on Exponential Moving Average(EMA) is proposed by combining with the exponential moving average learning algorithm and Parallel Tempering(PT),which includesupdating the model parametersand samples.The improved algorithm is applied to train speech recognition model parameters in Gaussian-Bernoulli Restricted Boltzmann Machine(GRBM),and experimental