CNN（卷积神经网络).pptVIP

卷积神经网络(CNN) 汇报人：吴建宝 2017.06.12 目录 Contents 1. 神经网络计算　 2. 卷积神经网络 3. CNN实现(tensorflow) 目录 Contents 1. 神经网络计算 1.1.神经网络信息流动 　　　　1.2.神经网络结点计算 　　　　1.3.神经网络梯度传播(链式法则） 神经网络信息流动 解析：（x,y）是给定的带标签数据，通常，x为特征，y为标签，固定不变．Ｗ为权重(网络参数），随机初始化(正态分布），且随时变化．一次前向计算过程，通过score function，得到预测结果，与标签数据对比，计算loss值，通常，loss是规则化项(redularization loss)和均方差项(data loss)的加权和(见式１),其目的是减小权重的幅度，防止过度拟合．在反向计算时，使用均方差项更新权重. Notes: 式1: 神经网络的结点计算 前向计算： 反向传播： 神经网络梯度传播(链式法则） Notes: 目录 Contents 2. 卷积神经网络 　　 2.1. 卷积神经网络和深度学习的历史 　　　 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 　　　 　　 卷积神经网络和深度学习的历史 　　卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿． 在20世纪90年代，ＡＴ＆Ｔ的神经网络研究小组开发了一个用于读取支票的卷积神经网络，到90年代末，NEC部署的这个系统用于读取美国所有支票的10%．后来，微软部署了若干个基于卷积神经网络的OCR和手写识别系统(MNIST)． 卷积神经网络也被用来赢得许多比赛．当前对深度学习的商业热潮始于2012年，当时Alex Krizhevsky使用新型卷积神经网络(AlexNet)赢得了当年的ImageNet大赛第一名，TOP-5分类错误率比第二名小约10%，引起轰动． 深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果，为深度学习这把火炬增添了燃料． 卷积神经网络和深度学习的历史 　　 　　卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更大的网络也更容易训练． 　　为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络优化而来的lstm,attention机制等． 　　　 目录 Contents 2. 卷积神经网络 　　 2.1. 卷积神经网络和深度学习的历史 　　　 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 　　　 　　 CNN处理图像　 　 卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6 CNN处理图像　 　 边缘检测的效率。右边的图像是通过获得原始图像中的每个像素并减去左边相邻像素的值而形成的。这对目标检测是有用的操作。两个图像都是 280 像素的高度。输入图像宽 320 像素,而输出图像宽 319 像素。这个变换可以通过包含两个元素的卷积核来描述,并且需要 319 × 280 × 3 = 267, 960 个浮点运算(每个输出像素需要两次乘法和一次加法)。不使用卷积,需要 320 × 280 × 319 × 280 个或者说超过 80 亿个元素的矩阵,这使得卷积对于表示这种变换更有效 40 亿倍。直接运行矩阵乘法的算法将执行超过 160 亿个浮点运算,这使得卷积在