卷积神经网络原理推导.pptVIP

卷积神经网络(CNN)原理推导 阿育王626 2016.3.6 说明： 先导知识：CNN网络结构、BP网络学习算法 参考文献：Notes on Convolutional Neural Networks 典型的CNN网络结构中，包含： 卷积层、下采样层、全连接层 1.全连接层学习算法 1.1工作信号正向传播 1.2误差信号反向传播 全连接层网络结构图 2.1工作信号正向传播 (1)当前第l层的输出xl： ①先求ul：第l-1层的输出xl-1（第l层的输入）与其对应权值Wl相乘，再加上基bl ②再利用激活函数f(.) 得xl：sigmoid或Relu 逐层 传播，直至得到最终输出层结果 利用网络输出值与真实值之间的误差，进行反向传播，调整权值。 参数：c表示分类数目，N表示训练样本数 tnk表示第n个样本真实值的第k维 ynk表示第n个样本输出值的第k维 (2)误差 ①第n个样本的误差：每类（共c类）误差的和 ②总误差：每个样本（共N个）误差的和 2.2误差信号反向传播 反向传播回来的误差可以看做是每个神经元的基的灵敏度 灵敏度的意思就是基b变化多少，误差会变化多少 也就是误差对基的变化率，即导数（公式1） (1)反向计算各层灵敏度 ①输出层第L层灵敏度： ②全连接层第l层灵敏度（公式2）： (2)权值调整 ①导数