CNN(卷积神经网络).ppt

Rethinking the Inception Architecture for Computer Vision 　这也是获得ImageNet LSVRC-2014冠军的模型，共22层的网络． 　文章提出获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层核或者神经元数），但是这里一般设计思路的情况下会出现两个缺陷（1.若训练数据集有限，参数太多，容易过拟合；2.网络越大计算复杂度越大，难以应用；3.网络越深，梯度越往后穿越容易消失，难以优化模型）。 第二十七页，编辑于星期一：十七点 十九分。 Rethinking the Inception Architecture for Computer Vision googlenet的主要思想就是围绕这两个思路去做的： 1.深度，层数更深，文章采用了22层，googlenet巧妙的在不同深度处增加了两个loss来避免上述提到的梯度消失问题，。 2.宽度，增加了多种核1x1，3x3，5x5，在3x3前，5x5前，max pooling后分别加上了1x1的卷积核起到了降低feature map厚度的作用。以下是googlenet用的inception可以称之为inception v1，如下图所示： 第二十八页，编辑于星期一：十七点 十九分。 目录 Contents 3. CNN实现(tensorflow) 3.1.主流CNN模型介绍 　　　　 3.2.使用tensorflow实现CNN 　　　　 3.3.使用tensorflow实现其它模型 第二十九页，编辑于星期一：十七点 十九分。 使用tensorflow搭建CNN 　TensorFlow? 是一个采用数据流图，用于数值计算的开源软件库。节点在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组，即张量（tensor）。 什么是数据流图（Data Flow Graph）? 　数据流图是一种特定的数据结构的表现方式， 它以数据为中心，由线传输数据，由节点对数 据进行操作，很好的对应了神经网络中的权值 参数和神经元结点，是目前各种神经网络框架 采用的计算方式． 第三十页，编辑于星期一：十七点 十九分。 　　 　　 　　 tensorflow计算示例　 tensorflow数据流图的核心在于数据流图的搭建．数据流图搭建完成以后，启动会话(Session),进行计算和训练． 第三十一页，编辑于星期一：十七点 十九分。 卷积神经网络(CNN) 汇报人：吴建宝 2017.06.12 第一页，编辑于星期一：十七点 十九分。 目录 Contents 1. 神经网络计算　 2. 卷积神经网络 3. CNN实现(tensorflow) 第二页，编辑于星期一：十七点 十九分。 目录 Contents 1. 神经网络计算 1.1.神经网络信息流动 　　　　1.2.神经网络结点计算 　　　　1.3.神经网络梯度传播(链式法则） 第三页，编辑于星期一：十七点 十九分。 神经网络信息流动 解析：（x,y）是给定的带标签数据，通常，x为特征，y为标签，固定不变．Ｗ为权重(网络参数），随机初始化(正态分布），且随时变化．一次前向计算过程，通过score function，得到预测结果，与标签数据对比，计算loss值，通常，loss是规则化项(redularization loss)和均方差项(data loss)的加权和(见式１),其目的是减小权重的幅度，防止过度拟合．在反向计算时，使用均方差项更新权重. Notes: 式1: 第四页，编辑于星期一：十七点 十九分。 神经网络的结点计算 前向计算： 反向传播： 第五页，编辑于星期一：十七点 十九分。 神经网络梯度传播(链式法则） Notes: 第六页，编辑于星期一：十七点 十九分。 目录 Contents 2. 卷积神经网络 　　 2.1. 卷积神经网络和深度学习的历史 　　　 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 　　　 　　 第七页，编辑于星期一：十七点 十九分。 卷积神经网