CNN卷积神经网络.pptVIP

Rethinking the Inception Architecture for Computer Vision googlenet的主要思想就是围绕这两个思路去做的： 1.深度，层数更深，文章采用了22层，googlenet巧妙的在不同深度处增加了两个loss来避免上述提到的梯度消失问题，。 2.宽度，增加了多种核1x1，3x3，5x5，在3x3前，5x5前，max pooling后分别加上了1x1的卷积核起到了降低feature map厚度的作用。以下是googlenet用的inception可以称之为inception v1，如下图所示： 目录 Contents 3. CNN实现(tensorflow) 3.1.主流CNN模型介绍 　　　　 3.2.使用tensorflow实现CNN 　　　　 3.3.使用tensorflow实现其它模型 使用tensorflow搭建CNN 　TensorFlow? 是一个采用数据流图，用于数值计算的开源软件库。节点在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组，即张量（tensor）。 什么是数据流图（Data Flow Graph）? 　数据流图是一种特定的数据结构的表现方式， 它以数据为中心，由线传输数据，由节点对数 据进行操作，很好的对应了神经网络中的权值 参数和神经元结点，是目前各种神经网络框架 采用的计算方式． 　　 　　 　　 tensorflow计算示例　 tensorflow数据流图的核心在于数据流图的搭建．数据流图搭建完成以后，启动会话(Session),进行计算和训练． 目录 Contents 3. CNN实现(tensorflow) 3.1. 主流CNN模型介绍 　　　 　3.2.使用tensorflow实现CNN 　　　 　3.3.使用tensorflow实现其它模型 CNN(卷积神经网络) 目录 Contents 1. 神经网络计算　 2. 卷积神经网络 3. CNN实现(tensorflow) 目录 Contents 1. 神经网络计算 1.1.神经网络信息流动 　　　　1.2.神经网络结点计算 　　　　1.3.神经网络梯度传播(链式法则） 神经网络信息流动 解析：（x,y）是给定的带标签数据，通常，x为特征，y为标签，固定不变．Ｗ为权重(网络参数），随机初始化(正态分布），且随时变化．一次前向计算过程，通过score function，得到预测结果，与标签数据对比，计算loss值，通常，loss是规则化项(redularization loss)和均方差项(data loss)的加权和(见式１),其目的是减小权重的幅度，防止过度拟合．在反向计算时，使用均方差项更新权重. Notes: 式1: 神经网络的结点计算 前向计算： 反向传播： 神经网络梯度传播(链式法则） Notes: 目录 Contents 2. 卷积神经网络 　　 2.1. 卷积神经网络和深度学习的历史 　　　 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础 　　　 　　 卷积神经网络和深度学习的历史 　　卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿． 在20世纪90年代，ＡＴ＆Ｔ的神经网络研究小组开发了一个用于读取支票的卷积神经网络，到90年代末，NEC部署的这个系统用于读取美国所有支票的10%．后来，微软部署了若干个基于卷积神经网络的OCR和手写识别系统(MNIST)． 卷积神经网络也被用来赢得许多比赛．当前对深度学习的商业热潮始于2012年，当时Alex Krizhevsky使用新型卷积神经网络(AlexNet)赢得了当年的ImageNet大赛第一名，TOP-5