机器学习算法之卷积神经网络.ppt

卷积神经网络(CNN) 机器学习与模式识别算法之 Outlines： 1、基本思想，原理，具体过程及算法 2、相关实验及优缺点分析与应用场合 3、相关改进算法 CNN应用场景 classification Regression CNN应用场景 Image Processing Architecture Overview DeepFace:CNN for Face Recognition[1] [1]Taigman et. al 2014 DeepFace: Closing the Gap to Human-Level Performance in Face Verification 卷积层(Convolutional) + 采样层(Pooling) + 全连接层(Fully-connected) 特征提取 简单神经网络层 卷积层(Convolutional Layer) (a)局部感受野(局部连接) (b)神经元激活方式 卷积层(Convolutional Layer) (a)blur (b)edge detect 采样层(Pooling Layer) 下采样 BN(Batch Normalization) Layer 关于数据预处理 Batch Normalization PCA whiten ZCA whiten PCA whiten ZCA whiten 数据各维度方差为1 使得白化后数据更接近原始数据分布 Batch Normalization Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. Computer Science, 2015. Why CNN works? 1.多层卷积层提取全局、细节、多尺度抽象特征 2.双隐层神经网络彻底实现复杂分类 3.端到端自动学习，无需手动提取特征 卷积层学习到了什么？ 浅层学习到特征多为低频信息：如Layer 1低频颜色信息， Layer 2学习得 颜色和边缘混合信息 卷积层学习到了什么？ Layer 3 学习多为图像全局信息，且具有较强区分性 卷积层学习到了什么？ Layer 4、Layer 5处于较高卷积层，学习得特征多为物体代表特征，如狗鼻子，车轱辘 双隐层神经网络彻底实现复杂分类