机器学习 - 卷积神经网络基础.pdf

机器学习 深度学习—卷积神经网络 复旦大学 赵卫东 博士 wdzhao@ 章节介绍 • 深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象 的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要 手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型， 可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始 化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很 好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷 积神经网络和循环神经网络的结构以及常见应用。 章节结构 • 卷积神经网络 – 卷积神经网络的结构 – 常见卷积神经网络 • 循环神经网络 – RNN基本原理 – 长短期记忆网络 – 门限循环单元 • 注意力机制 目标检测 [Rich feature hierarchies for accurate object detection and semantic segmentation, Girshick et al., CVPR 2014] 目标分类与目标检测  目标分类不需要定位  物体检测需要定位出物体的 位置(bbox)，且要把所有图 片中的物体都识别定位出来 。 目标检测应用 语义分割 感受野——人脑与视觉感知机制  神经元所影响的刺激区域称为神经元的感受野 （ receptive field），不同神经元感受野的大小和性质 都不同。  加拿大神经生理学家David Hunter Hubel和瑞典神经科 学家Torsten Nils Wiesel在20世纪50年代和60年代开始 研究视觉机制：将图像投射到屏幕上，将测量神经元 活动的电线插入猫的大脑，通过固定猫的头部来控制 视网膜上的成像，测试生物细胞对线条、直角、边缘 线等图形的反应。  研究结构：有些细胞对某些处在一个角度上的线条、 垂直线条、直角或者明显的边缘线，都有特别的反应 。要引起这个细胞反应，直线的朝向只能落在一个很 小的角度范围里（该细胞的感受野内）。 图像的编码 彩色图的编码 灰度图的编码 卷积神经网络计算—卷积 卷积神经网络中的感受野  感受野就是视觉感受区域的大小。在卷积神经网络中， 感受野是CNN中的某一层输出结果的一个元素对应输入 层的一个映射，即feature map上的一个点所对应的输入 图上的区域。 输入图像用f表示，kernel用h表示，结果矩阵的行和列 的索引分别用m和n表示。 感受野示例 不同方向的卷积 多通道卷积 卷积神经网络计算—池化 卷积神经网络计算—Padding  各方向的填充不一定对称 卷积神经网络中的输入输出计算 输出矩阵的尺寸——考虑到填充宽度和步幅 三维情况： 当n_in=n_out： n- 图像大小，f-滤波器大小，n_c- 图像中通道数，p-是否使用填充，s- 使用的步幅，n_f-滤波器个数。 彩色图的卷积 2D卷积