低资源语音识别中融合多流特征的卷积神经网络声学建模方法.pdfVIP

Jo旧nal of Computer Applications ISSN 1ω1-9081 2016-09-10 计算机应用，2016， 36(9):2ω9 -2615 CODEN JYIIDU 文章编号:1∞1-9081(2016)09-2ω9-07 doi: 10. 11772/j. issn. 1∞1-908 1. 2016.ω.2ω9 低资源语音识别中融合多流特征的卷积神经网络声学建模方法 秦楚雄，张连海 (信息工程大学信息系统工程学院，郑州 45仪)()1 ) ( *通信作者电子邮箱 qinchuxiong911@ 163. com) 摘 要:针对卷积神经网络(CNN) 声学建模参数在低资源训练数据条件下的语音识别任务中存在训练、不充分的 问题，提出一种利用多流特征提升低资源卷和、神经网络声学模型性能的方法。首先，为了在低资源声学建模过程中 充分利用有限训练数据中更多数量的声学特征，先对训练数据提取几类不同的特征;其次，对每一类类特征分别构建 卷积子网络，形成一个并行结构，使得多特征数据在概率分布上得以规整;然后通过在并行卷和、子网络之上加入全连 接层进行融合，从而得到一种新的卷积神经网络声学模型;最后，基于该声学模型搭建低资源语音识别系统。实验结 果表明，并行卷积层子网络可以将不同特征空间规整得更为相似，且该方法相对传统多特征拼接方法和羊特征 CNN 建模方法分别提升了 3.279岛和 2.08% 的识别率;当引入多语言训练时，该方法依然适用，且识别率分别相对提升了 5.73% 和4.57% 。 关键词:低资源语音识别;卷积神经网络;特征规整;多流特征 中固分类号: TN912.34 文献标志码:A Acoustic modeling approach of multi-stream feature incorporated convolutional neural network for low-resource speech r，悦。伊ition QIN Chuxiong -, ZHANG Lianhai 附加。10/ Ir矿òrmalion System Engineering, Ir价rmation E咿旧ering Uniærsity, Zheng.劝ou Henan 45α阳， China) Abstract: Aiming at solving the problem of insufficient training of Convolutional Neural Network (CNN) acoustic modeling parameters under the low-resource training data condition in speech recognition tasks , a method for improving CNN acoustic modeling perforrnance in low-resource speech recognition was proposed by utilizing multi-stream features. Firsùy , in order to make use of enough acoustic inforrnation of features from limited data to build acoustic model , multiple feat旧es of low- reso町ce data were extracted from training