卷积神经网络原理推导.ppt

卷积神经网络(CNN)原理推导;说明：;典型的CNN网络结构中，包含： 卷积层、下采样层、全连接层;1.全连接层学习算法;全连接层网络结构图;2.1工作信号正向传播;逐层 传播，直至得到最终输出层结果 利用网络输出值与真实值之间的误差，进行反向传播，调整权值。 参数：c表示分类数目，N表示训练样本数 tnk表示第n个样本真实值的第k维 ynk表示第n个样本输出值的第k维;1、我们的市场行为主要的导向因素，第一个是市场需求的导向，第二个是技术进步的导向，第三大导向是???争对手的行为导向。 2、市场销售中最重要的字就是“问”。 3、现今，每个人都在谈论着创意，坦白讲，我害怕我们会假创意之名犯下一切过失。 4、在购买时，你可以用任何语言；但在销售时，你必须使用购买者的语言。 5、市场营销观念：目标市场，顾客需求，协调市场营销，通过满足消费者需求来创造利润。**** 6、我就像一个厨师，喜欢品尝食物。如果不好吃，我就不要它。***** 7、我总是站在顾客的角度看待即将推出的产品或服务，因为我就是顾客。*** 8、利人为利已的根基，市场营销上老是为自己着想，而不顾及到他人，他人也不会顾及你。**** ;(2)误差 ①第n个样本的误差：每类（共c类）误差的和 ②总误差：每个样本（共N个）误差的和 ;2.2误差信号反向传播;(1)反向计算各层灵敏度;(2)权值调整;2.卷积层学习算法;卷积层典型结构图;子采样层典型结构图;2.1工作信号正向传播;(2)确定需要更新的权值 ①基b ②卷积核k 说明：此时需要分别计算误差对它们的变化率 和;2.2误差信号反向传播;②求第I层第j个灵敏度map（公式2可得）： 说明：在下采样层map的权值W都取一个相同值β，而且是一个常数。 ③第l层灵敏度δl：对第l层中的灵敏度map中所有节点进行求和，由公式1可知，得到基的梯度。 ;(2)计算卷积核的梯度 ①对于一个给定的权值，对所有共享该权值的连接对该点求梯度； ②然后对这些梯度进行求和。 说明： 是 中的在卷积的时候与 逐元素相乘的patch;?;3.子采样层学习算法;3.1工作信号正向传播;(2)确定需要更新的权值 ①加性基b ②乘性基β 说明：此时需要分别计算误差对它们的变化率 和;3.2误差信号反向传播;(2)计算乘性基的梯度 ①保存正向传播时下采样层的特征map： ②乘性基的梯度 ;?;4. 特征图组合;①第l层第j个输出特征图xlj： 说明：αij表示在得到第j个输出map的第i个输入map的权值，需要满足约束;?;③误差对于第l层变量αi的导数为： ④代价函数关于权值ci的偏导为：