深度学习介绍.pptVIP

图像特性同一平面层的神经元权值相同，有相同程度的位移、旋转不变性。每个特征提取后都紧跟着一个用来求局部平均与二次提取的亚取样层。这种特有的两次特征提取结构使得网络对输入样本有较高的畸变容忍能力。也就是说，卷积神经网络通过局部感受野、共享权值和亚取样来保证图像对位移、缩放、扭曲的鲁棒性。第27页，共42页。池采样在通过卷积获得了特征(features)之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如softmax分类器，但这样做面临计算量的挑战。例如：对于一个96X96像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个(96?8+1)*(96?8+1)=7921维的卷积特征，由于有400个特征，所以每个样例(example)都会得到一个892*400=3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)。第28页，共42页。池采样为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)，有时也称为平均池化或者最大池化(取决于计算池化的方法)。第29页，共42页。LeNet-5第30页，共42页。第1页，共42页。优选深度学习介绍第2页，共42页。主要内容神经网络深度学习介绍常用方法StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork评价与应用展望第3页，共42页。神经网络在机器学习与认知识别领域中，人工神经网络是一类模拟生物神经网络（中枢神经网络，特别是大脑）的模型，用来预测（决策问题）或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力。作为机器学习方法的一种，神经网络算法可以用来处理一系列传统方法无法处理或处理难度较大的问题，包括计算机视觉、语音识别方面等。第4页，共42页。基本结构神经网络的基本单元是神经元。通过对所有输入的加权求和与非线性映射得到该神经元的输出（激活值）。神经网络按照拓扑结构，属于一神经元为节点，以及节点间有向连接为为边的一种图，大体分为层状与网状两大类。常用激活函数：阈值函数双向阈值函数S型函数双曲正切函数高斯函数神经元模型第5页，共42页。BP网络前馈网络的逐层计算：输入值从输入层单元通过连接权重加权激活逐层向前传播经过隐层最后到达输出层得到输出。在信号的向前传递过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。反向传播算法：网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层向前传播,这是误差信号的反向传播。在误差信号反向传播的过程中,网络的权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出。前馈网络结构第6页，共42页。说明代价函数在遇到回归问题时，指定代价函数以使目标变量的真实值和预测值的距离最小代价函数描述了网络输出与真实值之间的误差。通过随机梯度下降的方法最小化代价函数以提高网络精度可以在代价函数中引入其他约束以满足设定要求BP算法第7页，共42页。反向传播与梯度下降BP算法流程S型函数导数第8页，共42页。主要问题主要问题易陷入局部极小而得不到全局最优。训练次数多使得学习效率低，收敛速度慢。对于隐层和隐节点的个数选择,至今还没有一个具体的定论，缺乏理论指导。训练时，学习新样本有遗忘旧样本的趋势常用改进方法添加动量项采用改进的梯度下降法MBP/MFBP算法第9页，共42页。深度学习深度学习的基础架构来自于前馈神经网络与BP算法，构造多层节点通过最小化代价函数的方法来提高分类精度。对于传统的ANN网络而言，由于多层网络训练的困难，实际使用的多数是只含有一层隐层节点的浅层模型。然而，不同于浅层的神经网络算法，深度学习更侧重于如何通过增加网络的深度，减小每层拟合的参数来提取出数据（尤其是语音与图像数据）的高层特征信息，从而达到更高