CNN网络结构的发展(~2016).pdfVIP

CNN网络结构的发展 LeNet-5 （1998年 ） Lecun, Y., et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11(1998):2278-2324. 2个卷积层(conv)+ 3个全连接层(fc) input conv 1 pooling conv2 pooling fc1 fc2 fc3 32*32 5*5s1p0 2*2s2 5*5s1p0 2*2s2 32*32 6@28*28 6@14*14 16@10*10 16@5*5 120 84 10 pooling并不是使用常见的max pooling以及average pooling ，而是使用以下公式 ： p = σ(ω ⋅ (c + c + c + c ) + ω ) 1 2 3 4 0 ω 其中c 是待pooling的2 × 2 区域 ， 和ω 是待学习的参数 ，σ(⋅)是sigmoid函数。 i 0 conv2的卷积实际上并不是5 ∗ 5 ∗ 14 ∗ 10的 ，而是对14个feature maps做了一些选取 ，我猜可能是由当时硬件决定的。 还有该论文最后一层并不是使用的softmax ，而是使用gaussian distribution进行计算的。 AlexNet-8 （2012年 ） Krizhevsky, Alex, I. Sutskever, and G. E. Hinton. “ImageNet classification with deep convolutional neural networks.” International Conference on Neural Information Processing Systems Curran Associates Inc. 2012:1097-1105. 5个卷积层(conv)+ 3个全连接层(fc) ，AlexNet以15.4%的低失误率夺得2012年ILSVRC的冠军。 input conv 1 relu-c1 lrn1 conv2 relu-c2 lrn2 pooling 224*224*3 11*11s4p0 5 5*5s1p2 5 max3*3s2 3*3s1p1 227*227*3 96@55*55 96@55*55 96@55*55 256@55*55 256@55*55 256@55*55 256@27*27 384@27* conv4 relu-c4 conv 5 relu-c5 pooling fc1 fc2 fc3 softmax 3*3s1p1 3*3s1p1 max3*3s2 384@13*13 384@13*13 256@13*13 256@13*13 256@6*6 4096 4096 1000 1000 虽然AlexNet网络都用上图的结构来表示 ，但是其实输入图像的尺寸不是224*224*3 ，而应该是227*227*3 ，大家可以 用244的尺寸推导下 ，会发现边界填充的结果是小数 ，这显然是不对的 ，在这里就不做推导了。 由于当时的显卡容量问题 ，AlexNet 的60M个参数无法全部放在一张显卡上操作 ，所以采用了两张显卡