深度学习原理与TensorFlow实践 课件 第8章 卷积神经网络.pptx

卷积神经网络深度学习原理与TensorFlow实践第八章 目录CONTENT01 认识卷积神经网络02 卷积神经网络的结构03 卷积神经网络的相关函数04 使用卷积神经网络对图片分类05 反卷积神经网络06 卷积神经网络进阶 课前回顾1、线性问题与非线性问题2、解决非线性问题3、利用全连接网络将图片进行分类4、全连接网络模型的优化方法多层神经网络 认识卷积神经网络0 1全连接网络的局限性卷积神经网络简介 卷积神经网络卷积神经网络是深度学习最经典的模型之一，其身影在各个经典的深度学习模型中都能找到。按照网络层数，卷积神经网络可分为浅层结构和深层结构，但浅层结构的卷积神经网络由于准确度和表现力较为有限。目前很少使用，现阶段使用的卷积神经网络一般都指深层结构的卷积神经网络，层数从“几层”到”上百层“不定。 全连接网络的局限性 拟合复杂非线性函数问题时，一般倾向于搭建更深的模型结构，来减少网络中所需要神经元的数量，降低网络学习难度，使网络有更好的泛化能力。 但全连接网络存在以下局限性：忽略了输入的拓扑结构初始化参数多处理高维度数据能力较弱 全连接网络的局限性 全连接层需要将原本的多维结构拉平，这导致原始的空间结构被破坏，丢失了输入数据的空间信息。 图像(或语音的时频表示)类的数据集具有较强的二维局部结构，空间或时间附近的变量(或像素)高度相关，如果丢失了空间信息会影响网络的准确性。1. 忽略了输入的拓扑结构 全连接网络的局限性 指定全连接网络的网络结构后，需要对各层之间的权重的偏置进行初始化。 全连接网络需要初始化的参数的个数与网络层数和各层的神经元的个数相关。随着网络层数的增加，各层神经元个数的增加，初始化的参数也会越来越多。如此多的参数不仅消耗大量的内存，同时也需要大量的运算。2. 初始化参数多 全连接网络的局限性 全连接网络处理比较复杂的高维度数据时，只能通过增加节点、增加层数的方式来解决。但是，增加节点会引起参数过多的问题。 同时，全连接网络的隐藏层使用的是Sigmoid激活函数，其反向传播存在梯度消失问题，有效传播层数也只能在4到6层左右。3. 处理高维度数据能力较弱 认识卷积神经网络0 1全连接网络的局限性卷积神经网络简介 卷积神经网络简介理论萌芽阶段实验发展阶段大规模应用和研究阶段卷积神经网络的发展有以下三个阶段： 卷积神经网络简介卷积神经网络最早是受到感受野这一概念的影响而产生的。感受野：1962年，大卫和托斯坦研究发现，从视网膜传递脑中的视觉信息是通过多层次的感受野（ReceptiveField）激发完成的。1980年日本学者Fukushima在基于感受野的基础上，提出了神经认知机(Neocognitron)，神经认知机可以理解为卷积神经网络的第一版。卷积神经网络中，通过卷积层输出的图片称为feature map，feature map上的某个元素的计算受输入图像上感受野（卷积核）的影响。1. 理论萌芽阶段 卷积神经网络简介1998年Yann LeCun等提出了LeNet-5网络，其所采用的局部连接和权值共享 的方式，一方面减少了权值的数量使得网络易于优化，另一方面降低了模型的复杂度，也就是减小了过拟合的风险。随着LeNet-5网络的提出，卷积神经网络受到广泛的关注。同时在语音识别、物体检测、人脸识别等应用领域的研究也逐渐开展起来。2. 实验发展阶段 卷积神经网络简介2012年，Hinton及其学生Alex Krizhevsky提出了AlexNet网络，并在在ImageNet的训练集上取得了图像分类的冠军，使得卷积神经网络成为计算机视觉中的重点研究对象。此后，更多的卷积神经网络被提出，并逐步走向商业化。3. 大规模应用和深入研究阶段 本章小结认识卷积神经网络全连接网络的局限性卷积神经网络的发展历史 谢谢观看 卷积神经网络深度学习原理与TensorFlow实践第八章 目录CONTENT01 认识卷积神经网络02 卷积神经网络的结构03 卷积神经网络的相关函数04 使用卷积神经网络对图片分类05 反卷积神经网络06 卷积神经网络进阶 课前回顾1、全连接网络的局限性2、卷积神经网络简介认识卷积神经网络 卷积神经网络的结构0 2网络结构简介卷积层池化层 卷积神经网络的网络结构全连接神经网络包含一个输出层，输入层和若干个隐藏层。每个网络层都有若干神经元，层与层之间神经元相互连接，层内神经元互不连接，而且下一层神经元连接上一层所有的神经元。卷积神经网络也是一种层级网络，与全连接神经网络相比，层的功能和形式有了一些变化。卷积神经网络不仅有全连接层，还有卷积层与池化层。卷积层与池化层可以减少深层网络占用的内存量，减少网络的