一种交替变换更新层数的DBNDNN快速训练方法.PDFVIP

第３３卷第３期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ３ ２０１６年３月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｒ．２０１６ 一种交替变换更新层数的ＤＢＮＤＮＮ快速训练方法 李　轩，李春升 （北京航空航天大学 电子信息工程学院，北京 １００１９１） 摘　要：针对语音识别中ＤＢＮＤＮＮ网络训练时间过长的问题，提出了一种 ＤＢＮＤＮＮ网络的快速训练方法。 该方法从减少误差反向传播计算量的角度出发，在更新网络参数时，通过交替变换网络更新层数来实现加速。 同时，也设计了逐渐减少网络全局更新频率和逐渐减少网络更新层数两种实施策略。这种训练方法可以与多种 ＤＮＮ加速训练算法相结合。实验结果表明，在不影响识别率的前提下，该方法独立使用或与随机数据筛选算法 （ｓｔｏｃｈａｓｔｉｃｄａｔａｓｗｅｅｐｉｎｇ，ＳＤＳ）、ＡＳＧＤ算法等ＤＮＮ加速训练算法相结合，都可以取得较为理想的加速结果。