卷积神经网络试卷.ppt

Convolutional Neural Networks 卷积神经网络;主要内容;卷积神经网络提出的背景;卷积神经网络提出的背景;浅层神经网络的缺陷;深度学习的优势;卷积神经网络;卷积神经网络应用;C1层： 输入图片大小： 32*32 卷积窗大小： 5*5 卷积窗种类： 6 输出特征图数量： 6 输出特征图大小： 28*28 (32-5+1) 神经元数量： 4707 [(28*28)*6)] 连接数： 12304 [(5*5+1)*6]*(28*28) 可训练参数： 156 [(5*5+1)*6] ;S2层： 输入图片大小： (28*28)*6 卷积窗大小： 2*2 卷积窗种类： 6 输出下采样图数量：6 输出下采样图大小：(14*14)*6 神经元数量： 1176 (14*14)*6 连接数： 5880 (4+1)*(14*14)*6 可训练参数： 12 (6*2) ;卷积和子采样过程： 卷积过程包括：用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。 子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。;C3层： 输入图片大小： (14*14)*6 卷积窗大小： 5*5 卷积窗种类： 15 输出特征图数量： 16 输出特征图大小： 10*10 (14-5+1) 神经元数量： 1600 [(10*10)*16)] 连接数： 151600 [(60+16)*25]*(10*10) （部分连接） 可训练参数： 1516 [(60+16)*25] ; 连接数计算： 151600 = [(60+16)*25]*(10*10) 60 = 3*6+9*4+6；16是因为每种神经元都有一个常数连接; 其中打X了的表示两者之间有连接的。取我们学习到的网络（结构为150-16）中16个隐含节点种的一个拿来分析，比如拿C3中的第3号特征图来说，它与上层网络S2第3,4,5号特征图连接。那么该第3号特征图的值（假设为H3）是怎么得到的呢？其过程如下： 　　首先我们把网络150-16（以后这样表示，表面输入层节点为150，隐含层节点为16）中输入的150个节点分成6个部分，每个部分为连续的25个节点。取出倒数第3个部分的节点（为25个），且同时是与隐含层16个节点中的第4（因为对应的是3号，从0开始计数的）个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的倒数第3个特征图，假设得到的结果特征图为h1。 　　同理，取出网络150-16中输入的倒数第2个部分的节点（为25个），且同时是与隐含层16个节点中的第5个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的倒数第2个特征图，假设得到的结果特征图为h2。 　　继续，取出网络150-16中输入的最后1个部分的节点（为25个），且同时是与隐含层16个节点中的第5个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的最后1个特征图，假设得到的结果特征图为h3。 　　最后将h1，h2，h3这3个矩阵相加得到新矩阵h，并且对h中每个元素加上一个偏移量b，且通过sigmoid的激发函数，即可得到我们要的特征图H3了。 ;S4层： 输入图片大小： (10*10)*16 卷积窗大小： 2*2 卷积窗种类： 16 输出下采样图数量：16 输出下采样图大小：(5*5)*16 神经元数量： 400 (5*5)*16 连接数： 2000 (4+1)*(5*5)*16 可训练参数： 32 (16*2) ;C5层： 输入图片大小： (5*5)*16 卷积窗大小： 5*5 卷积窗种类： 120 输出特征图数量： 120 输出特征图大小： 1*1 (5-5+1) 神经元数量： 120 (1*120) 连接数： 48120 [16*25+1]*1*120(全连接） 可训练参数： 48120 [16*25+1]*1*120;F6层： 输入图片大小： (1*1)*120 卷积窗大小： 1*1 卷积窗种类： 84 输出特征图数量： 84 输出特征图大小： 1 神经元数量： 84 连接数： 10164 120*84（全连接） 可训练参数： 10164 120*84;OUTPUT层： 输入图片大小： 1*84 输出特征图数量： 1*10; 最后，输出层由欧式径向基函数（Euclidean