深度学习基础-卷积神经网络.pptx

卷积神经网络 ; ? 深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象 的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要 手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型， 可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始 化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很 好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷 积神经网络和循环神经网络的结构以及常见应用。 ;; . 卷积神经网络 – 卷积神经网络的结构 – 常见卷积神经网络 . 循环神经网络 – RNN基本原理 – 长短期记忆网络 – 门限循环单元 . 深度学习流行框架; . 目标分类与目标检测 . 目标分类不需要定位 . 物体检测需要定位出物体的 位置(bbox)，且要把所有图 片中的物体都识别定位出来;; 语义分割;;;; 神经元所影响的刺激区域称为神经元的感受野( receptive field），不同神经元感受野的大小和性质 都不同。 加拿大神经生理学家David Hunter Hubel和瑞典神经科 学家Torsten Nils Wiesel在20世纪50年代和60年代开始 研究视觉机制：将图像投射到屏幕上， 将测量神经元 活动的电线插入猫的大脑，通过固定猫的头部来控制 视网膜上的成像，测试生物细胞对线条、直角、边缘 线等图形的反应。 研究结构：有些细胞对某些处在一个角度上的线条、 垂直线条、直角或者明显的边缘线，都有特别的反应 。要引起这个细胞反应， 直线的朝向只能落在一个很 小的角度范围里（该细胞的感受野内）。;;;;; 输入图像用f表示，kernel用h表示，结果矩阵的行和列 的索引分别用m和n表示。;;;; 感受野就是视觉感受区域的大小。在卷积神经网络中， 感受野是CNN中的某一层输出结果的一个元素对应输入 层的一个映射，即feature map上的一个点所对应的输入 图上的区域。 获取特征; 感受野示例;; 小卷积核（如 3*3）通过多层叠加 可取得与大卷积核（如 7*7）同等 规模的感受野。 采用小卷积核的优势： ? 小卷积核多层叠加，??深了网络深 度，增强了复杂度（model complexity）。 ? 减少了参数个数。;;; 苹果常见有健康、锈病、痂病、同时拥有两种疾病等问题 通过热力图的方式将卷积神经网络模型对苹果疾病图片关键识别部位提取出来，获得 部位与对应的类别的关系。; Sigmoid σ(z) = ;;;;;;;; 各方向的填充不一定对称;;;;;;;;;;;; 赵卫东 复旦大学;;; 赵卫东 复旦大学;;;;;;;;; 赵卫东 复旦大学;; . 通道：图片的特定成分。 . 数码相机照片有三个通道— — RGB ，可以想象 为是三个2d矩阵叠在一起，每个矩阵的值都 在0-255之间。;;;;; Filter; (Depth) 。 不同的滤波器， 从而 特征映射。 你可以认为这两个 的2d矩阵，所以这里特 是2。; . 空间池化，也叫亚采样或下采样降低了每个特征映射的维度，但是保留了 最重要的信息。 . 空间池化可以有很多种形式：最大(Max)，平均(Average)，求和(Sum)等等; . 池化层的功能 . 减少网络中的参数计算数量， 从而遏制过拟合 . 增强网络对输入图像中的小变形、扭曲、平移的鲁棒性(输入里的微小扭曲不会改变池化输出 —— 因为我们在局部邻域已经取了最大值/平均值)。 . 帮助我们获得不因尺寸而改变的等效图片表征。这非常有用，因为这样我们就可以探测到图 片里的物体，不论那个物体在哪。; . 们在分类网络的最后几层使用全连接层，但全连接层被证明参数量太大泛 化性能不好，被global average pooling替代掉。; . 卷积层和池化层的输出代表了输入 图像的高级特征，全连接层的目的 就是类别基于训练集用这些特征进 行分类。 . 除了分类以外，加入全连接层也是 学习特征之间非线性组合的有效办 法。卷积层和池化层提取出来的特 征很好，但是如果考虑这些特征之 间的组合，就更好了。; 基本单元—可视化;;;;;;;; . Step 1: 用随机数初始化所有的滤波器和参数/权重 . Step 2: 网络将训练图片作为输入，执行前向步骤（卷积， ReLU，池化以及全连接层的前向传播）并计 算每个类别的对应输出概率。 . 假设船图的输出概率是[0.2, 0.4, 0.1, 0.3] . 因为第一个训练