深度学习基础与实践 课件 单元九 基于AlexNet的图像分类项目实战.pptx

AlexNet神经网络;

那么直接了。大部分现代人在使用罗马数字计算CCX除以VI时，都会将其转化成阿拉伯数字，从而使

用位值系统的长除法。

对于一个计算任务，我们可以使用渐近运行时间来量化任务表示的合适或不合适。例如：

正确插入一个数字到有序表中，如果该数列用链表表示，那么所需时间是O(n)；如果该列表用红

黑树表示，那么只需要O(logn)的时间。;

习的一种形式。网络的最后一层通常是线性分类器，如softmax分类器，网络的其余部分学习

出该分类器的表示。原则上，最后一层可以是另一种模型，如最近邻分类器(SalakhutdinovandHinton,2007a)。倒数第二层的特征应该根据最后一层的类型学习不同的性质。

监督学习训练模型，一般会使得模型的各个隐藏层(特别是接近输出层的隐藏层)的表示能

够更容易地完成训练任务。例如，输入特征线性不可分的类别可能在最后一个隐藏层变成线性可分离的。;

学习特征表示

表示学习

深度学习最重要的作用：表示学习

FeatureEngineering(特征工程):通过原始数据，生成新的数据的过程

传统做法

输入图片;

学习特征表示

学习特征表示

虽然于1994年，由LeCun提出LeNet5深层网络，可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽人意，其性能甚至不如支持向量机。一方面，因为深层神经网络计算复杂。虽然20世纪90年代也有过?些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练?个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另?;

学习特征表示

学习特征表示

既然特征如此重要，它该如何表示呢？

在相当长的时间里，特征都是基于各式各样手工设计的函数从数据中提取的。不少研究者

通过提出新的特征提取函数不断改进图像分类结果。关于图像特征的各种提取方法可以参阅

2020年出版的《图像局部特征检测及描述》。在已知分类对象特征的情况下，直接通过图像;

例如，不少研究论文基于加州大学欧文分校(UCI)提供的若干个公开数据集，其中许多数据

集只有几百几千张图像。

这?状况在2010年前后??起的大数据浪潮中得到改善。特别是，2009年诞生的ImageNet数据集包含了1,000大类物体，每类有多达数千张不同的图像。这?规模是当时其他公开数据集无法与之相提并论的。

ImageNet数据集同时推动计算机视觉和机器学习研究进入新的阶段，使此前的传统方法不再

有优势。;

学习特征表示

学习特征表示

条件二：硬件

深度学习对计算资源要求很高。早期的硬件计算能力有限，这使训练较复杂的神经网络变得

很困难。然而，通用GPU的到来改变了这?格局。

很久以来，GPU都是为图像处理和计算机游戏设计的，尤其是针对大吞吐量的矩阵和向量乘;

AlexNet网络

AlexNet出现背景

2012年，AlexNet横空出世。这个模型的名字来源于提出者AlexKrizhevsky。AlexNet使用

了8层卷积神经网络，并以很大的优势赢得了ImageNet2012图像识别挑战赛。它首次证明了

学习到的特征可以超越手工设计的特征。;

AlexNet网络

AlexNet网络结构

第1层：卷积层1输入为224×224×3(或227×227×3)

的图像，第一层卷积为11×11×96，即尺寸为

11×11,有96个卷积核(论文中的两个GPU分别有48个卷积核),步长为4,卷积层后跟ReLU,因此输出的尺寸为224/4=56,去掉边缘为55,因此其输出的每个featuremap为55×55×96。最大池化层,核大小为3×3,步长为2,因此featuremap的大小为:27×27×96。

第2层：卷积层2输入为上一层卷积的featuremap，

即大小为27×27×96，卷积核大小为5×5×256,步长

为1,尺寸不会改变,同样紧跟ReLU和LRN层。最大池化大小为3×3,步长为2,因此featuremap为:13×13×256。;

AlexNet网络

AlexNet网络结构

第3层：卷积层3，输入的尺寸大小为13×13×256，

卷积核大小为3×3×384,步长为1,加上ReLU，没有

LRN和Pool，输出为13×13×384；

第4层：卷积4,输入为上一层的输出，卷积核大小为

为3×3×384，步长同样为1，加上ReLU，和第三层一

样，没有LRN和Pool，输出为13×13×384；

第5层：卷积5,输入为第四层的输出，卷积核大小为

3×3×256