深度信念网络(DBN)网络层次数量的研究及应用.pdfVIP

第 16 卷第 23 期 2016 年 8 月 1671--1815(2016)23-0234-06 科学技术与工程 Science Technology and Engineering VoL 16 No.23 Aug. 2016 @ 2016 Sci. Tech. Engrg. 深度信念网络(DBN) 网络层次数量 的研究及应用 高强马艳梅* (华北电力大学电子与通信工程系，保定 071∞3) 摘要针对 DBN 网络隐含层层数难以选择的问题，从通信原理、信息理论以及实验数据等多方面出发，研究了深度信念网 络(DBN) 隐含层的层次趋势问题。根据各个隐含层输出层不同类图片的互相关系数之间的关系，提出了一种根据互相关系 数确定网络深度的方法，证明了当深度学习时，隐含层输出的样本之间的互相关系数达到 1(0) 或 -1 时，或者样本之间的互 相关系数不再改变时，进一步增加层次对提高分类正确率是没有帮助的。在训练的过程中随机的选取图片，使其更具有普适 性。手写体数据库实验和应用于 CIFAR-I0 图像库的数据表明，该方法能够有效提高训练速度。 关键词深度信念网络 互相关系数 手写体数字 CIFAR-lO数据库 中囹法分类号 TP391. 4; 文献标志码 A 人的大脑的认知过程是逐层进行、逐步抽象的， 并且深层结构的神经网络能够有效的提高工作效 率，降低所谓维数灾难或者降低其危害。根据这种 思想，深度学习的宗师 Hinton [ 1 .2] 阐述了重要思想: 隐含层层数增加可以使网络学习能力增强，学习到 的特征更贴近物体本身，提出了深度信念网络 (DBN) 的概念，实现了人工神经网络在多隐含层建 立工作中的突破。 深度信念网络不仅可以实现自动特征学习，而 且学习到的特征对数据具有更本质的刻画，且通过 逐层初始化克服了在训练上的难度，因此受到了 学术界和工业界的广泛研究，并成为当前的研究热 点。到目前为止，深度信念网络已成功应用到了语 音识别领域[3] 、手写字体识别[4] 、交通标志识别、人 脸识别[5] 、航空飞行器故障检测 [6] 等图像处理领域 中，大大提高了识别精度。利用深度信念网络 (DBN)技术进行产品检测具有明显的优势，并且在 此基础上可以进一步改进。有研究学者已经提出了 一些确定网络层次数量的方法，如基于重构误差的 网络深度判断方法[7] 等。 本文通过分析 DBN 网络中有监督学习和无监 督学习 [8-12] 的训练过程，得出互相关系数和训练程 度之间的关系，并以此为基础，提出了一种根据互相 2016 年 3 月 21 日收到 第一作者简介:高强( 1960←)男，博士，教授。研究方向:通信和 信号处理等。 E-mail: gaoqiang(削1 @ Aliyun. com。 ·通信作者简介:马艳梅(1990一)女，硕士研究生。研究方向:深度 学习以及图像处理。 E-mail:1142491483@qq. com o 关系数确定网络层次数量的方法，从而得到符合要 求的深度，有效的提高训练效率。 1 深度信念网络(DBN) 原理分析 DBN 由多层限制玻尔兹曼机(RBM) 堆叠起来， 是深度学习中最重要的一个多层网络结构，采用半 监督学习算法:RBM 的权值和偏置值通过一个贪婪 的逐层元监督训练被初始化，然后这些权值和偏置 值通过有监督的 BP 算法进行微调。 DBN 结构图如 图 1 所示: 图 1 DBN 结构 Fig. 1 DBN structure 在信号检测与估值[归]理论中，对确知信号进行 检测的问题与 DBN 分类是一致的。信号检测是在 接收端收到受干扰的信号时利用信号概率和噪声功 率等信息按照一定的准则判定信号的存在。在分析 信号检测效果的好坏时，都与互相关系数紧密相关， 误码率的表达式为: p_ = ~r 1 - erf( Iι旦1川= L l 飞代I 2no fJ 23 期 高 强，等:深度信念网络(DBN) 网络层次数量的研究及应用 235 7Le叫 l旦ζ旦~1 (1) L. L\) 2no J 式(1)中 ， p 是信号 S1 (n) 和 S2 (n) 之间的互相关系 数 ， Eb 为信号能量，要求 W 1 (n) 和叫( n) 的能量相 等，即 Eb = Eb1 = Eb2 ， nO 为干扰(噪声)的功率谱， |ρ| 运 1 。当 p 接近 1 时，表示信号叫( n) 和叫( n) 完全相同，是无法分辨的，此时分类错误率为最大 50% 。或者正确率为 50% 时分类完全失败。当 ρ= - 1 时，即信号具有完全相反的特征时，分类或 识别效果最佳。信号的功率和互相关系数的大小对 正确分类会有显著影响。对于我们的训练样本，比 如手写体数字样本，样本能量和信噪比是确定