卷积神经网络原理推导讲义.ppt

卷积神经网络原理推导;说明：;典型的CNN网络结构中，包含： 卷积层、下采样层、全连接层;1.全连接层学习算法;全连接层网络结构图;2.1工作信号正向传播;逐层 传播，直至得到最终输出层结果 利用网络输出值与真实值之间的误差，进行反向传播，调整权值。 参数：c表示分类数目，N表示训练样本数 tnk表示第n个样本真实值的第k维 ynk表示第n个样本输出值的第k维;(2)误差 ①第n个样本的误差：每类（共c类）误差的和 ②总误差：每个样本（共N个）误差的和 ;2.2误差信号反向传播;(1)反向计算各层灵敏度;(2)权值调整;2.卷积层学习算法;卷积层典型结构图;子采样层典型结构图;2.1工作信号正向传播;(2)确定需要更新的权值 ①基b ②卷积核k 说明：此时需要分别计算误差对它们的变化率 和;2.2误差信号反向传播;②求第I层第j个灵敏度map（公式2可得）： 说明：在下采样层map的权值W都取一个相同值β，而且是一个常数。 ③第l层灵敏度δl：对第l层中的灵敏度map中所有节点进行求和，由公式1可知，得到基的梯度。 ;(2)计算卷积核的梯度 ①对于一个给定的权值，对所有共享该权值的连接对该点求梯度； ②然后对这些梯度进行求和。 说明： 是 中的在卷积的时候与 逐元素相乘的patch;?;3.子采样层学习算法;3.1工作信号正向传播;(2)确定需要更新的权值 ①加性基b ②乘性基β 说明：此时需要分别计算误差对它们的变化率 和;3.2误差信号反向传播;(2)计算乘性基的梯度 ①保存正向传播时下采样层的特征map： ②乘性基的梯度 ;?;4. 特征图组合;①第l层第j个输出特征图xlj： 说明：αij表示在得到第j个输出map的第i个输入map的权值，需要满足约束;?;③误差对于第l层变量αi的导数为： ④代价函数关于权值ci的偏导为：