关于CNN优化的思考.PDFVIP

关于 CNN 优化的思考 郝杰东 2017 年 7 ⽉ 4 ⽇ ⽬录 1 神经⽹络的形式化表⽰ 2 2 模型的优化 3 2.1 属于哪类优化问题？ . . . . . . . . . . . . . . . . . 3 2.2 ⼏种⽅法 . . . . . . . . . . . . . . . . . . . . . 3 2.2.1启发式搜索算法 . . . . . . . . . . . . . . . . 3 2.2.2使⽤⼀阶梯度信息 . . . . . . . . . . . . . . . 4 2.2.3使⽤⼆阶梯度信息 . . . . . . . . . . . . . . . 5 3 版本更新历史 8 1 在正式讨论神经⽹络的优化之前，先对神经⽹络给出形式化的表⽰，并对常 ⽤的⼀些概念进⾏简单的介绍，⽅便后续的讨论。 1 神经⽹络的形式化表⽰ 我们经常使⽤的 CNN，它的参数优化⽅法本质上和我们在⼀些经典教材上 看到的加上正则项的曲线拟合很类似。我们可以把 CNN 整体看作⼀个函数 ，这⾥ 就代表经过预处理的图像 (这⾥预处理通常指的是减去 RGB 3 个通道的均值)。 代表卷积层 kernel 的权重， 代表偏置项。函 数 对输⼊图像进⾏了⼀系列数学运算，其中最常⻅的有卷积、pooling、 ⾮线性变化（(ReLU)。经过这些变换，最后我们得到输出 ，这个图像还有⼀ 个真实的 label，⽤ 来表⽰。我们训练神经⽹络的⽬的就是想要使得经过 ⽹络的变换， 尽可能接近 ，这样⽹络才有实际⽤处。 要想达到上述的⽬的，必须寻找适当的参数，使得对于⼀个输⼊图像 ， ⽹络的输出 接近实际的 ，对于这种接近必须要找到某种合适的⽅式 来度量，通常在训练⽹络的时候我们使⽤“损失函数 (Loss Functions)” 1 来衡量误差，譬如常⽤的 mean squared loss，Softmax with loss ， cross-entropy loss 等。如果损失越⼤，说明实际输出与我们想要的结果 “偏差”越⼤。对于单个的样本，loss 可以写成 (1) 例如，对于 Softmax with loss，假设研究的是 类分类问题，神经⽹络最 后有 个输出，分别对应每⼀类出现，⽤ 表⽰，然后再接⼀个 Softmax 层，经过这⼀层的作⽤，对应于每⼀类的输出变成了 exp (2) ∑