卷积神经网络CNN剖析.pptx

卷积神经网络 演讲：傅家庆 2016年5月26日 卷积神经网络 一个m*n*t的三层网络，连接权重的数量为m*n+n*t，bias的数量为n+t个。 比如一个1000×1000的图像，可以表示为一个1000000的向量。如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12 通常模型的参数越多，模型的表现功能就越强。参数就像砖块，你的砖块越多，你可以用砖块表现的建筑也就越多。 但是模型参数越多，越不好训练： 参数多，局部最优值越多，最常用的梯度下降法训练 网络容易陷入局部最优点。 训练花费时间越长，使用的时候需要的计算也相对多。 模型复杂度 卷积神经网络 20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，提出了“感受野”的概念。 1989年,Yann LeCun (现纽约大学教授) 和他的同 事们就发表了卷积神经网络(Convolution Neural Networks, 简称CNN)的工作。 背景 卷积神经网络 一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。 局部感知 卷积神经网络 上面的局部连接中，每个神经元都对应100个参数，一共1000000个神经元，如果这1000000个神经元的100个参数都是相等的，那么参数数目就变为100。 我们可以这100个参数（也就是卷积操作）看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一 部分学习的特征也能用在另一部分 上，所以对于这个图像上的所有位 置，我们都能使用同样的学习特征。 如右图，滤波器为3X3的卷积核在5 X5的图像上做卷积的过程。每个卷 积核都是一种特征提取方式。 参数共享 卷积神经网络 上面所述只有100个参数时，表明只有1个100*100的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。 不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图像的不同的通道。把他称为特征图。 多卷积核 卷积神经网络 降低图像分辨率，减少训练维数 对于一个96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个 (96 ? 8 + 1) × (96 ? 8 + 1) = 7921 维的卷积特征，由于有 400 个特征，所以每个样例 (example)都会得到一个 892 × 400 = 3,168,400 维的卷积特征向量。 在一个图像区域有用的特征极有可能在另一个区域同样适用，通过降采样可以减少特征的数量。 常用pooling 有两种：mean-pooling、max-pooling Down pooling（池化，降采样） 卷积神经网络 基于人工神经网络 在人工神经网络前，用卷积滤波器进行特征抽取 使用卷积核作为特征抽取器 自动训练特征抽取器（即卷积核，即阈值参数） 卷积核一次训练多次使用，可以在线学习。 局部感受野+权值共享+多卷积核+降采样，使模型参数与特征大幅减小。 总结 卷积神经网络 C1层 输入图片大小：32*32 卷积核大小：5*5 卷积核种类（特征图数量）：6 输出的特征图大小：28*28（32-5+1） 神经元数量（特征大小）：4704（28*28*6） 连接数：122304（28*28*6*（5*5+1）） 可训练参数：156（（5*5+1）*6） LeNet-5手写数字识别 卷积神经网络 S2层： 输入图片大小：28*28*6 池化窗大小：2*2 池化窗种类：6 输出的特征图大小：14*14*6 神经元数量（特征大小）：1176（14*14*6） 连接数：5880 （（4+1）*（14*14）*6） 可训练参数：12（6*2） LeNet-5手写数字识别 谢谢聆听 目录 1 2 3 4