CNN卷积神经网络学习课件.ppt

卷积神经网络 (CNN) 汇报人：吴建宝 2017.06.12 目录 Contents 1. 神经网络计算 2. 卷积神经网络 3. CNN 实现 (tensorflow) 目录 Contents 1. 神经网络计算 1.1. 神经网络信息流动 1.2. 神经网络结点计算 1.3. 神经网络梯度传播 ( 链式法则） 神经网络信息流动 解析：（ x,y ）是给定的带标签数据，通常， x 为特征， y 为标签，固定不变．Ｗ为权重 ( 网络 参数），随机初始化 ( 正态分布），且随时变化．一次前向计算过程，通过 score function ， 得到预测结果，与标签数据对比，计算 loss 值，通常， loss 是规则化项 (redularization loss) 和均方差项 (data loss) 的加权和 ( 见式１ ), 其目的是减小权重的幅度，防止过度拟合．在反向 计算时，使用均方差项更新权重 . Notes: 式 1: 神经网络的结点计算 前向计算： 反向传播： 神经网络梯度传播 ( 链式法则） Notes: 目录 Contents 2. 卷积神经网络 2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 卷积神经网络和深度学习的历史 卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究 大脑获得的深 刻理解 成功应用于机器学习应用的 关键例子 ，也是 第一个 表现良好的深度模型之一． 是 第一个 解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿． 在 20 世纪 90 年代，ＡＴ＆Ｔ的神经网络研究小组开发了一个用于读取支票的卷积 神经网络，到 90 年代末， NEC 部署的这个系统用于读取美国所有支票的 10% ．后来， 微软部署了若干个基于卷积神经网络的 OCR 和手写识别系统 (MNIST) ． 卷积神经网络也被用来赢得许多比赛．当前对深度学习的商业热潮始于 2012 年，当 时 Alex Krizhevsky 使用新型卷积神经网络 (AlexNet) 赢得了当年的 ImageNet 大赛 第一名 ， TOP-5 分类错误率比第二名小约 10% ，引起轰动． 深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的 训练数据 ，同时随着几十年来 硬件技术 的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次 模型算法 的更新，都取得了良好的效果 ，为深度学习这把火炬增添了燃料． 卷积神经网络和深度学习的历史 卷积神经网络提供了一种方法来 专业化 神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸 ( 加深层数 ). 这种方法 在 二维图像拓扑 上的应用是最成功的．同时，卷积神经网络比全连接网络 计 算效率 更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练． 为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络 优化而来的 lstm,attention 机制等． 目录 Contents 2. 卷积神经网络 2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 CNN 处理图像 卷积神经网络的计算效率提升，参数量： 10^12 －＞ 10^6 CNN 处理图像 边缘检测的效率。右边的图像是通过获得原始图像中的每个像素并减去左边相邻 像素的值而形成的。这对目标检测是有用的操作。两个图像都是 280 像素的高度 。输入图像宽 320 像素 , 而输出图像宽 319 像素。这个变换可以通过包含两个元 素的卷积核来描述 , 并且需要 319 × 280 × 3 = 267, 960 个浮点运算 ( 每个输出像 素需要两次乘法和一次加法 ) 。不使用卷积 , 需要 320 × 280 × 319 × 280 个或者 说超过 80 亿个元素的矩阵 , 这使得卷积对于表示这种变换更有效 40 亿倍。直接 运行矩阵乘法的算法将执行超过 160 亿个浮点运算 , 这使得卷积在计算上大约有 60,000 倍的效率。将小的局部区域上的相同线性变换应用到整个输入上 , 卷积是 描述这种变换的极其有效的方法。照片来源 :Paula Goodfellow 。 CNN 特性－权值共享和多卷积核 请在这里输入论文答辩 2016-08- 权值共享 多通道多卷积核 卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化． CNN 多通道和多卷积核 请在这里输入论文答辩 2