(完整word版)深度学习卷积神经网络算法简介.docxVIP

深度学习 卷积神经网络算法简介 李宗贤 北京信息科技大学智能科学与技术系 卷积神经网络是近年来广泛应用在模式识别、 图像处理领域的一种高效识别算法，具有简单结构、训练参数少和适应性强的特点。它的权值共享网络结构使之更类似与生物神经网络， 降低了网络的复杂度，减少了权值的数量。以二维图像直接作为网络的输入，避免了传统是被算法中复杂的特征提取和数据重建过程。 卷积神经网络是为识别二维形状特殊设计的一个多层感知器， 这种网络结构对于平移、 比例缩放、倾斜和其他形式的变形有着高度的不变形。 卷积神经网络的结构 卷积神经网络是一种多层的感知器， 每层由二维平面组成， 而每个平面由多个独立的神经元组成，网络中包含一些简单元和复杂元，分别记为 C元和 S 元。 C元聚合在一起构成卷积层， S 元聚合在一起构成下采样层。 输入图像通过和滤波器和可加偏置进行卷积， 在 C层产生 N个特征图（N值可人为设定），然后特征映射图经过求和、 加权值和偏置，再通过一个激活函数（通常选用 Sigmoid 函数）得到 S 层的特征映射图。 根据人为设定 C层和 S 层的数量，以上工作依次循环进行。最终，对最尾部的下采样和输出层进行全连接，得到最后的输出。 卷积的过程：用一个可训练的滤波器 fx 去卷积一个输入的图像 （在 C1层是输入图像，之后的卷积层输入则是前一层的卷积特征图） ， 通过一个激活函数 ( 一般使用的是 Sigmoid 函数 ) ，然后加一个偏置 bx，得到卷积层 Cx。具体运算如下式，式中 Mj 是输入特征图的值： ?? ∈ ??-1 ? ??=???(∑ ?? ?? ?? ???? ??  ?? ?? ?? + ??) ???? ?? 子采样的过程包括：每邻域的 m个像素（ m是人为设定）求和变 为一个像素，然后通过标量 Wx+1加权，再增加偏置 bx+1，然后通过 激活函数 Sigmoid 产生特征映射图。从一个平面到下一个平面的映射 可以看作是作卷积运算， S层可看作是模糊滤波器，起到了二次特征 提取的作用。隐层与隐层之间的空间分辨率递减， 而每层所含的平面 数递增，这样可用于检测更多的特征信息。对于子采样层来说，有 N 个输入特征图， 就有 N个输出特征图， 只是每个特征图的的尺寸得到 了相应的改变，具体运算如下式，式中 down（）表示下采样函数。 ?? ?? = ??  ?? ??-1 ?? ?? down ( ?? ) + ??) ??) ?? ?? ?? ?? 卷积神经网络的训练过程 卷积神经网络在本质上是一种输入到输出的映射， 它能够学习大 量的输入和输出之间的映射关系， 而不需要任何输入和输出之间的精 确数学表达式。 用已知的模式对卷积网络加以训练， 网络就具有了输 入 出 之 的映射能力。 卷 神 网 行的是有 督的 ， 所以 本集是由形如（ 入向量，理想 出向量）的向量 构成。卷 神 网 算法 似于 BP算法，主要分 4 步， 4 步分 两 个 段： 1、 向前 播 程 1） 从 本集中 取（ X,Y）, 将 X 入网 2） 算相 的 出 Op。 在此 段，信息从 入 逐 ， 送到 出 ， 入 与每 的 矩 点乘，得到 出 果： Op=Fn（? ( F2 ( F1 (XpW (1) ) W (2) ) ?)W(n) ） 2、 向后 播 段 1） 算 出和理想 出的差 2） 按极小 差 反向 播 整 矩 卷 神 网 的 点 卷 神 网 主要用于 位移、 放及其它形式扭曲不 形的二 像。由卷 神 网 的特征 通 ， 由于同一特征平面上的神 元 相同， 所以网 可以并行学 ， 种以局部 共享的特殊 构在 音 和 像 理方面具有独特的 越性， 使其布局更 似于生物神 网 。 卷 神 网 一般神 网 在 像 方面有如下 点： 1） 以二 像 网 的直接 入，减少了复 特征提取和数据重 建等 算 程。 2） 输入图像和网络的拓扑结构能有很好的吻合。 3） 特征提取和模式分类同时进行，并在训练中产生。 4） 权值共享可以很大程度上减少网络训练参数，是网络结构的适 应性更强。 目前，卷积神经网络已经被广泛应用于二维图像处理、 模式识别、 机器视觉等领域，并能很好地解决相关问题。