AlexNet介绍.ppt

AlexNet Introduction 涂正中 12307130266 Caffe---Convolution Architecture For Feature Embedding(Extraction) 一个清晰而高效的深度学习框架 Yangqing Jia(贾杨清，谷歌研究员) created the project during his PhD at UC Berkeley / C++/CUDA架构，支持命令行、Python和MATLAB接口 可以在CPU和GPU直接无缝切换 Why Caffe？ 上手快：模型与相应优化都是以文本形式而非代码形式给出。Caffe给出了模型的定义、最优化设置以及预训练的权重，方便立即上手。 速度快：能够运行最棒的模型与海量的数据。Caffe与cuDNN结合使用，测试AlexNet模型，在K40上处理每张图片只需要1.17ms. 模块化：方便扩展到新的任务和设置上。可以使用Caffe提供的各层类型来定义自己的模型。 开放性：公开的代码和参考模型用于再现。 社区好：可以通过BSD-2参与开发与讨论。 Caffe架构 AlexNet Overview Trained with stochastic gradient descent on two NVIDIA GTX 580 3GB GPUs for about a week 650,000 neurons 60,000,000 parameters 630,000,000 connections Final feature layer: 4096-dimensional Implementation The only thing that needs to be stored on disk is the raw image data We stored it in JPEG format. It can be loaded and decoded entirely in parallel with training. Therefore only 27GB of disk storage is needed to train this system. Uses about 2GB of RAM on each GPU, and around 5GB of system memory during training ILSVRC2012(Task1) ILSVRC2012(Task2) Architecture Improving 1，采用ReLU来代替传统的tanh(or sigmoid)引入非线性，； 2，采用2块显卡来进行并行计算，减少了更多显卡需要host传递数据的时间消耗，在结构上，部分分布在不同显卡上面的前后层节点之间无连接，从而提高了训练速度； 3，同层相邻节点的响应进行局部归一化(lrn layer)提高了识别率（top5错误率降低1.2%）； 4，overlapping pooling（top5错误率降低0.3%）； AlexNet ReLU(Rectified Linear Units) Nonlinearity ReLU具备引导适度稀疏的能力,不需要pre-training，ReLU具备引导适度稀疏的能力，需要pre-training ReLU不预训练和sigmoid预训练的效果差不多，甚至还更好。相比之下，ReLU的速度非常快，而且精确度更高。因此ReLU在深度网络中已逐渐取代sigmoid而成为主流。 Training on Multiple GPUs Parallelization scheme：puts half of the kernels (or neurons) on each GPU，the GPUs communicate only in certain layers.（for example, the kernels of layer 3 take input from all kernel maps in layer 2） This scheme reduces our top-1 and top-5 error rates by 1.7% and 1.2% taking slightly less time Local Response Normalization 从这个公式中可以看出，原来的激活a被加一个归一化权重（分母部分）生成了新的激活b，相当于在同一个位置（x，y），不同的map上的激活进行了平滑 Response normalization reduces our top-1 and top-5 error rates by 1.4