深度学习进阶笔之三 深入理解Alexnet.docxVIP

深度学习进阶笔记之三 | 深入理解Alexnet 引言 TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统，被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow代表着张量从图象的一端流动到另一端计算过程，是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。 TensorFlow完全开源，任何人都可以使用。可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。 『机器学习进阶笔记』系列将深入解析TensorFlow系统的技术实践，从零开始，由浅入深，与大家一起走上机器学习的进阶之路。  前面我们看了一些Tensorflow的文档和一些比较有意思的项目（《HYPERLINK /p器学习进阶笔记之二 | 深入理解Neural Style》），发现这里面水很深的，需要多花时间好好从头了解下，尤其是cv这块的东西，特别感兴趣，接下来一段时间会开始深入了解ImageNet比赛中中获得好成绩的那些模型： AlexNet、GoogLeNet、VGG（对就是之前在nerual network用的pretrained的model）、deep residual networks。  ImageNet Classification with Deep Convolutional Neural Networks HYPERLINK /?target=http%3A///%7Efritz/absps/imagenet.pdf \t _blank ImageNet Classification with Deep Convolutional Neural Networks?是Hinton和他的学生Alex Krizhevsky在12年ImageNet Challenge使用的模型结构，刷新了Image Classification的几率，从此deep learning在Image这块开始一次次超过state-of-art，甚至于搭到打败人类的地步，看这边文章的过程中，发现了很多以前零零散散看到的一些优化技术，但是很多没有深入了解，这篇文章讲解了他们alexnet如何做到能达到那么好的成绩，好的废话不多说，来开始看文章 这张图是基本的caffe中alexnet的网络结构，这里比较抽象，我用caffe的draw_net把alexnet的网络结构画出来了 AlexNet的基本结构 alexnet总共包括8层，其中前5层convolutional，后面3层是full-connected，文章里面说的是减少任何一个卷积结果会变得很差，下面我来具体讲讲每一层的构成： 一层卷积层 输入图像为227*227*3(paper上貌似有点问题224*224*3)的图像，使用了96个kernels（96,11,11,3），以4个pixel为一个单位来右移或者下移，能够产生5555个卷积后的矩形框值，然后进行response-normalized（其实是Local Response Normalized，后面我会讲下这里）和pooled之后，pool这一层好像caffe里面的alexnet和paper里面不太一样，alexnet里面采样了两个GPU，所以从图上面看一层卷积层厚度有两部分，池化pool_size=(3,3),滑动步长为2个pixels，得到96个2727个feature。 二层卷积层使用256个（同样，分布在两个GPU上，每个128kernels（5*5*48）），做pad_size(2,2)的处理，以1个pixel为单位移动（感谢网友指出），能够产生27*27个卷积后的矩阵框，做LRN处理，然后pooled，池化以3*3矩形框，2个pixel为步长，得到256个13*13个features。 三层、四层都没有LRN和pool，第五层只有pool，其中第三层使用384个kernels（3*3*256，pad_size=(1,1),得到256*15*15，kernel_size为（3，3),以1个pixel为步长，得到256*13*13）；第四层使用384个kernels（pad_size(1,1)得到256*15*15，核大小为（3，3）步长为1个pixel，得到384*13*13）；第五层使用256个kernels（pad_size(1,1)得到384*15*15，kernel_size(3,3)，得到256*13*13，pool_size(3，3）步长2个pixels，得到256*6*6）。 全连接层： 前两层分别有4096个神经元，末尾输出softmax为