深度学习与卷积神经网络基础理论与实例分析.pptVIP

目 录 概述与背景 卷积神经网络 1.概述与背景 1.1 人工智能、机器学习、深度学习、数据挖掘之间的关系 人工智能 机器学习 深度学习 数据挖掘 1.概述与背景 1.2 神经网络兴衰史 第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。 第二次兴起（1986年）：将BP(Back Propagation)神经网络的提出。 第三次兴起（2012年）：深度学习的兴起，一直到现在。 发展基础： 数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等 计算性能大幅提高 目 录 人脑视觉机理与特征表示 卷积神经网络 2.人脑视觉机理与特征表示 2.1 人脑视觉机理---大脑神经元的信号传输 神经元 树突 输入 神经元 接收信号 隐含层输入 神经元激活 轴突发出信号 隐含层输出 人工神经网络 大脑神经元信号传输的模拟 2.人脑视觉机理与特征表示 2.1 人脑视觉机理---大脑识别物体过程  从原始信号摄入开始（瞳孔摄入像素 Pixels）； 接着做初步处理（大脑皮层某些细胞发现边缘和方向）； 然后抽象（大脑判定，眼前的物体的形状）； 然后进一步抽象（大脑进一步判定该物体）。 Low-level sensing Preprocessing Feature extraction Feature selection Inference: prediction, recognition 2.人脑视觉机理与特征表示 2.2 特征表示 手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，而且它的调节需要大量的时间。 既然手工选取特征不太好，那么能不能自动地学习一些特征？ 学习出特征能否很好的表征目标？ 2.人脑视觉机理与特征表示 2.2 特征表示 在不同对象上做训练时，所得的边缘基底 是非常相似的，但对象部分和模型 就会完全不同了。 初级（浅层）特征表示 结构性特征 抽象层面越高，存在的可能猜测就越少，就越利于分类 特征表示也可以分层 2.人脑视觉机理与特征表示 神经元的模型 分层处理信息 特征的分层表达 训练: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them 输入: An unlabeled image is shown to the pre-trained network First Layer: the neurons respond to different simple shapes, like edges High Layer: the neurons respond to more complex structures Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals 输出: The network predicts what the object most likely is, based on its training 2.人脑视觉机理与特征表示 2.3浅层学习和深度学习 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至几十层的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。这种分层结构，是比较接近人类大脑的结构的。 与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 目 录 概述与背景 卷积神经网络 3.卷积神经网络-CNN LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。 卷积层--convolution 池化层--pooling 全连接层—fully connected 3.1 初探----LeNet框架 3.卷积神经网络-CNN 3.1 初探----完整的CNN 把图片分入四个类别：狗，猫，船，鸟 当获得一张船图作为输入的时候，网络正确的给船的分类赋予了最高的概率(0.94)。输出层的各个概率相加应为1