2.卷积神经网络-章华.pptxVIP

卷积神经网络 Convolutional Neural Networks章华2017.5.19目录优化局部最小值鞍点(saddle point)Gradient DescentMomentumNAG自适应学习率方法防止过拟合Data AugmentationL1和L2正则化Early stoppingDropoutCNN的结构演化卷积神经网络初探目标分类目标检测LeNets结构完整的CNN基本单元输入层卷积层非线性池化层全连接层可视化Batch Normalization反向传播训练初探—目标分类示例来自/https://///初探—目标检测/pdf/1311.2524v5.pdf[Rich feature hierarchies for accurate object detection and semantic segmentation, /pdf/1311.2524v5.pdfGirshick/pdf/1311.2524v5.pdf et al., CVPR 2014]目标分类与目标检测目标分类不需要定位物体检测需要定位出物体的位置(bbox)，且要把所有图片中的物体都识别定位出来。初探—LeNet框架LeCun1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。初探——一个完整的CNN把图片分入四个类别：狗，猫，船，鸟当获得一张船图作为输入的时候，网络正确的给船的分类赋予了最高的概率(0.94)。输出层的各个概率相加应为1.卷积神经网络主要执行了四个操作：卷积非线性(ReLU)池化或下采样分类（全连接层）基本单元—输入层每个图片都可以表示为像素值组成的矩阵通道：图片的特定成分。数码相机照片有三个通道——RGB，可以想象为是三个2d矩阵叠在一起，每个矩阵的值都在0-255之间。灰度图像只有单通道。矩阵中的每个像素值还是0到255，0表示白，255表示黑。基本单元—卷积层Filter“滤波器”或者“特征探测器”，这里的重点就是，理解滤波器对于原输入图片来说，是个特征探测器。它的元素是通过网络训练得到的。卷积操作在原始图片（绿色）上从左往右、从上往下按照一定步数滑动橙色矩阵，并且在每个位置上，我们都对两个矩阵的对应元素相乘后求和得到一个整数，这就是输出矩阵（粉色）的元素。注意，3x3矩阵每次只“看见”输入图片的一部分，即局部感受野。Convolved Feature在原图上滑动滤波器、点乘矩阵所得的矩阵称为“卷积特征”、“激励映射”或“特征映射”。Filter步幅(Stride)步幅是每次滑过的像素数。当Stride=2的时候每次就会滑过2个像素。步幅越大，特征映射越小。深度(Depth) 深度就是卷积操作中用到的滤波器个数。这里对图片用了两个不同的滤波器，从而产生了两个特征映射。你可以认为这两个特征映射也是堆叠的2d矩阵，所以这里特征映射的“深度”就是2。补零(Zero-padding)边缘补零，对图像矩阵的边缘像素也施加滤波器。补零的好处是让我们可以控制特征映射的尺寸。补零也叫宽卷积，不补零就叫窄卷积。不同的滤波器将会产生不同的特征映射边缘检测只需调整滤波器的数值，我们就可以执行诸如边缘检测、锐化、模糊等效果——这说明不同的滤波器会从图片中探测到不同的特征，比如边缘、曲线等。锐化高斯模糊/courses/cs178/applets/convolution.html/courses/cs178/applets/convolution.html一个滤波器（红框）在图片上滑动（卷积）产生特征映射。在同一个图片上，另一个滤波器（绿框）的卷积产生了不同的特征映射。卷积操作捕捉的是原图的局部特征。另外，注意观察两个不同的滤波器怎样产生不同的特征映射。其实不管是图片，还是两个滤波器，本质上都不过是我们刚才看过的数值矩阵而已。基本单元—非线性软饱和激活函数硬饱和激活函数在定义域内处处可导两侧导数逐渐趋近于0，即 左侧软饱和与右侧软饱和两侧导数等于0，即 左侧硬饱和与右侧硬饱和Sigmoid梯度消失问题输出非zero-centeredReLU 激活函数一般用于卷积层和全连接层之后激活函数是深度网络非线性的主要来源以像素为单位生效的，其将所有负值像素替换为0ReLU的优点解决了gradient vanishing问题，由于x0时导数为1，所以，ReLU能够在x0时保持梯度不衰减，从而缓解梯度消失问题。计算速度非常快。对比sigmoid和tanh神经元含有指数运算等耗费计算资源的操作，ReLU可以简单地通过对一个矩阵进行阈值计算得到。收敛速度非常快。相较于sigmoid和tanh函数，ReLU对于随机梯度下降的收敛