Imagenetclassificationwithdeep-convolutionalneuralnetworks-资料.ppt

AlexNet Introduction by. 孙超 The Architecture（体系结构） 1.1 ReLU 1.2 Training on Multiple GPUs 1.3 Local Response Normalization(RLN 局部响应归一化) 1.4 Overlapping pooling（重叠池化） Reducing Overfitting（减少过度拟合） 2.1 Data Augmentation（数据加强） 2.2 Dropout Main content Architecture Improving 1，采用ReLU来代替传统的tanh(or sigmoid)引入非线性。 2，采用2块显卡来进行并行计算，减少了更多显卡需要host传递数据的时间消耗，在结构上，部分分布在不同显卡上面的前后层节点之间无连接，从而提高了训练速度。 3，同层相邻节点的响应进行局部归一化(lrn layer)提高了识别率（top5错误率降低1.2%）。 4，overlapping pooling（top5错误率降低0.3%）。 1.ReLU