卷及神经网络研究报告.pptx

卷积神经网络——CNN 孙健 2016年5月30日 引言 主要内容 CNN发展 CNN层次结构 1.数据输入层 2.卷积层 3.激励层 4.池化层 5.全连接层 CNN设计和训练 1.结构模式 2.结构优化 3.模型微调 4.典型Case 5.常用框架 CNN应用 1.图像分类 2.图像检测 3.图像分割 4.图像理解 5.AlphaGo 1 CNN发展 1 CNN发展 1986~1998：正式成型 LeCun第一次成功应用卷积神经网络实现对邮政编码和数字的理解 1998~2006：打入冷宫 原因：吃设备；有良好的替代品，诸如SVM,LR 1 CNN发展 2006：再度觉醒 Hinton在《Science》上发表文章，惊世骇俗之作 它指出多隐层神经网络具有更为优异的特征学习能力，并且其在训练上的复杂度可以通过逐层初始化来有效缓解 GPU加速条件下，CNN快速崛起 1 CNN发展 2012：一炮打响 ImageNet比赛上CNN一鸣惊人，分类问题上Top5错误率为16.4%，而采用特征工程的第二名Top5错误率为26.2% 2014：人脸识别模型横空出世 Facebook AI实验室的DeepFace和香港中文大学DeepID-Net团队的DeepID直接将LFW数据库人脸识别的准确率刷到99.75% 1 CNN发展 2015：深度学习领域三巨头LeCun、Bengio、Hinton在《Nature》上发表科普性综述《Deep Learning》 2016.3：惊喜 谷歌研发的基于深度卷积神经网络和蒙特卡洛搜索树开发的AlphaGo击败了李世石 2016.5:我在讲CNN 2 CNN层次结构 2.1 数据输入层 输入：单张原始图像 预处理操作：去均值 归一化(可做可不做) 2.2 卷积层 2.2 卷积层 若向前向全连接网络输入32×32×3图像 输入层即有32×32×3个神经元 第一层隐藏层一个 神经元有 32×32×3个参数！！ 2.2 卷积层 局部连接性 通过局部连接，一个神经元参数减少为9个！！ 7×7×3输入图像R通道 -1 0 -1 1 0 -1 -1 0 0 (0,0)神经元的卷积核 独享 x y 0 隐藏层第一个特征图 2.2 卷积层 参数共享 假设隐藏层每个特征图使用同一组权值参数 7×7×3输入图像R通道 -1 0 -1 1 0 -1 -1 0 0 x y 0 隐藏层第一个特征图 右图神经元的卷积核 共享 2.2 卷积层 2.2 卷积层 -1 -1 -1 -1 8 -1 -1 -1 -1 -1 -1 0 -1 0 1 0 1 1 * * = = 2.2 卷积层 28×28×6特征图 含6个卷积核 2.2 卷积层 卷积层超参 卷积核大小F×F——局部感受野大小 卷积核数目K——输出量深度 stride S——卷积核滑动步长 zero padding数目 P——补零圈数 2.2 卷积层 卷积核3*3，滑动步长S=1，边界补偿P=1， 0 0 0 0 0 0 0 0 0 1 2 0 0 0 0 2 1 0 1 2 0 0 0 0 0 0 1 0 0 0 1 2 1 2 0 0 1 1 2 2 2 0 0 0 0 0 0 0 0 -1 -1 0 -1 0 1 0 1 1 3×3×1卷积核 * = 4 2.2 卷积层 卷积核3*3，滑动步长S=1，边界补偿P=1 0 0 0 0 0 0 0 0 0 1 2 0 0 0 0 2 1 0 1 2 0 0 0 0 0 0 1 0 0 0 1 2 1 2 0 0 1 1 2 2 2 0 0 0 0 0