CNN简介教案资料.pptVIP

卷积神经网络（CNN）ConvolutionalNeuralNetwork

基础知识Basics1卷积神经网络ConvolutionalNeuralNetwork2应用和实例Applicationandexamples3

基础知识1

发展情况无法解决异或问题SVM的兴起硬件性能，大数据

多层感知机

Sigmoid当输入非常大或者非常小的时候，这些神经元的梯度是接近于0。大部分神经元可能都会处在饱和状态，导致网络学习率下降。sigmoid的输出不是零均值的

tanhtanh函数的输出是零均值的

ReLU综合速率和效率，学习周期缩短当学习率设置得太高时，网络中的大量神经元可能会陷入死亡状态，从而有效降低模型的容量。

LeakyReLU更快更高效没有梯度消失或者是突变的现象

Softmax1.多分类2.正则项

Maxout

更多激活函数

梯度下降

反向传播-算法改进随机梯度下降法：需要我们人为的去选择参数 比如学习率、参数初始化 权重衰减系数、Dropout改进：BN网络（BatchNormalization） 1.白化预处理 2.变换重构 网络可以学习恢复出原始网络所要学习的特征分布

反向传播-权重更新1.vanillaupdate2.Momentumupdate3.NesterovMomentumupdate4.Adagradupdate5.RMSpropupdate6.Adamupdate

卷积神经网络2

卷积层1池化层2全连接3

卷积层参数输入： W1*H1*D1超参数：卷积核个数K 卷积核大小F，深度为D1 步长S 填充P输出：W2=(W1-F+2P)/S+1（下取整） H2=(H1-F+2P)/S+1（下取整） D2=K

卷积层10101000010101000010101000010101000010101000010101000010-110-110-103030003030003030003030010-110-110-110-110-110-110-110-110-110-110-110-110-110-110-1输入：6*6卷积核：3*3步长：1输出：4*4

卷积层101010001010100010101000101010001010100010-110-110-103003010-110-110-110-110-110-110-110-110-1输入：5*5卷积核：3*3步长：2输出：2*210-110-110-1

填充（padding）问题： 1.每一次卷积输出图像都会变小，这在很深的网络中无法工作 2.中间的像素和边缘的像素的地位不平等，会丢失边缘信息101010000101010000101010000000101010000101010000101010

0000000001010100000010101000000101010000000001010100000010101000000101010000000000111000-1-1-1-20-30-20-10000111000-1-1-1111000-1-1-1111000-1-1-1111000-1-1-1111000-1-1-1111000-1-1-1111000-1-1-1填充（padding）输入：6*6卷积核：3*3步长：1padding：1输出：6*6

三维卷积6*6*36*6*64*=3*3*3步长：1卷积核：64padding：1(6-3+2*1)/1+1=6输入深度决定卷积核深度卷积核个数决定输出深度输出大小有公式计算

池化层设置（无参数）输入： W1*H1*D1超参数：卷积核大小F，深度为D1 步长S 池化方式：最大池化，均值池化固定参数：卷积核个数K=D1 填充P=0输出：W2=(W1-F)/S+1（下取整） H2=(H1-F)/S+1（下取整） D2=K提示：卷积层3*3过滤器会有9个参数需要学习，但是池化层3*3过滤器没有参数需要学习

池化层池化方法：按处理方式： 1.一般池化 2.重叠池化 3.空间金字塔池化(SSP)按计算方式： 1.均值池化 2.最大池化 3.滑动平均池化 4.L2范数池化

一般池化：不重合101010000101010000101010000000101010000101010000101010输入： 6*6超参数： 池化过滤器尺寸：3*3 步长：3输出： 2*2

重叠池化：有重合101010000101010000101010000000101010000101010000101010输入： 6*6超参数： 池化过滤