人工智能之深度学习-第五章-卷积神经网络.pptx

卷积神经网络第一节第二节第三节 卷积层 池化层目录 content第四节 全连接层 经典网络结构第五节卷积神经网络概述卷积神经网络概述第一节引例——图像边界检测假设我们有这样的一张图片，大小8×8，图的中间两个颜色的分界线就是要检测的边界。怎么检测这个边界呢？设计一个?滤波器（filter，也称为kernel），大小3×3：图片中的数字代表该位置的像素值，像素值越大，颜色越亮，所以为了示意，我们把右边小像素的地方画成深色。引例——图像边界检测 “卷积”过程：用filter，往原图片上覆盖，对应元素相乘，然后求和。计算一个区域之后，就向其他区域挪动，接着计算，直到把原图片的每一个角落都覆盖到了为止。引例——图像边界检测CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能；每个filter中的各个数字就是参数，可以通过大量的数据，来让机器自己去“学习”这些参数。这就是CNN的基本原理。卷积神经网络（Convolutional Neural Network） 卷积神经网络（Convolutional Neural Network，CNN）是近年来在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。 现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。在近些年的机器视觉领域和其他很多问题上，它是最具影响力的创新结果，卷积神经网络取得了当前最好的效果。CNN发展历史上世纪60年代， Hubel 和 Wiesel通过对 猫视觉皮层细胞 的研究，提出了 感受野 这个概念。20世纪 90 年代， Yann LeCun 等人发表论文，确立了 CNN的现代结构，后来又对其进行完善。010320121960s1990s 1980更深层次的 AlexNet网络 取得成功，此后卷积神经网络蓬勃发展，被广泛用于各个领域，在很多问题上都取得了当前最好的性能上世纪80年代，?Kunihiko Fukushima?在 感受野 概念的基础之上提出了 神经认知机 (neocognitron?)的概念，可以看作是卷积神经网络的第一个实现网络。CNN基本结构 ＣＮＮ的基本结构由输入层、隐藏层、输出层构成。其中隐藏层又包括卷积层、池化层 、全连接层。 卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，ＣＮＮ 也由此而得名。CNN基本结构卷积层全连接层池化层隐藏层1. 降低数据维度，避免过拟合2. 增强局部感受野3. 提高平移不变性1. 局部特征提取2. 训练中进行参数学习3. 每个卷积核提取特定模式的特征1. 特征提取到分类的桥梁CNN应用图像识别目前卷积神经网络不仅已经成为语音识别、图像识别及分类、自然语言处理等领域的研究热点，在这些领域有了广泛且成功的应用，而且作为新兴技术已经成功应用于经济预测领域。因此本案例引入卷积神经网络结构对股票时间序列数据进行预测。卷积神经网络因其不同于 BP / RNN/ DBN 等全连 接(Fully － Connected)网络的网络结构，可以在各层网络的神经元之间共享权重，使得网络整体的权重数量大为降低，也使得模型避免陷入维度灾难和局部极小。 自然语言处理语音识别机器视觉应用人脸识别etc经济预测卷积层第二节为什么使用卷积SVM分类步骤：人工提取特征，比如说大小，形状，重量，颜色等；根据上述特征，把每一张图片映射到空间中的一个点，空间的维度和特征的数量相等；相同类别的物体具有类似的特征，所以空间中标记为草莓的点肯定是聚在一起的，香蕉和橘子也是同理图像分类任务的瓶颈出现在特征选择上为什么使用卷积如果不人工提取特征，计算量会非常大，精确度也无法保证。而人工提取特征的方式又会在某些问题下难以进行。为什么使用卷积 卷积的两个主要优势在于：稀疏连接（sparse connectivity）和参数共享(parameter sharing)；稀疏连接