深度学习详解.pptVIP

2021/3/17 * 由此可知人的视觉系统的信息处理是分级的,高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图,抽象层面越高,存在的可能猜测就越少,就越利于分类。 2021/3/17 * 浅层学习与深度学习 传统机器学习和信号处理技术探索仅含单层非线性变换的浅层学习结构。浅层模型的一个共性是仅含单个将原始输入信号转换到特定问题空间特征的简单结构。典型的浅层学习结构包括传统隐马尔科夫模型(HMM)、条件随机场(CRFs)、最大熵模型(Max Ent)、支持向量机(SVM)、核回归及仅含单隐层的多层感知器(MLP)等。 浅层结构的局限性在于有限的样本和计算单元情况下对复杂的函数表示能力有限,针对复杂分类问题其泛化能力受到一定的制约。 2021/3/17 * 受到大脑结构分层的启发,神经网络的研究发现多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;而深度神经网络在训练上的难度,可以通过“逐层初始化”来有效克服。 深度学习可以通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,并展现了强大的从少数样本中集中学习数据及本质特征的能力。 2021/3/17 * 深度学习的实质 通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,“深度模型”是手段,“特征学习”是目的。 深度学习与浅层学习的区别 强调了模型结构的深度,通常有5-10多层的隐层节点; 明确突出了特征学习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。 2021/3/17 * 深度学习的训练方法 与神经网络的异同 2021/3/17 * 深度学习与神经网络的异同 神经网络 深度学习 2021/3/17 * 深度学习与神经网络的异同 相同点 二者均采用分层结构,系统包括输入层、隐层（多层）、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个logistic 回归模型。 不同点:采用不同的训练机制 神经网络:采用BP算法调整参数,即采用迭代算法来训练整个网络。随机设定初值,计算当前网络的输出,然后根据当前输出和样本真实标签之间的差去改变前面各层的参数,直到收敛; 深度学习:BP算法不适合深度神经网络,如果对所有层同时训练,时间复杂度会太高,如果每次训练一层,偏差逐层传递会出现过拟合。因此深度学习整体上是是一个分层训练机制。 2021/3/17 * 深度学习的训练过程 自下而上的非监督学习:从底层开始,一层一层的往顶层训练,分别得到各层参数。 采用无标签数据分层训练各层参数（可以看作是特征学习的过程）。 自上而下的监督学习 基于第一步的得到的各层参数进一步调整整个多层模型的参数,这一步是一个有监督的训练过程。 2021/3/17 * 深度学习的几种常用模型 Auto Encoder（自动编码器） Sparse Coding （稀疏编码） Restricted Boltzmann Machine（限制玻尔兹曼机） Deep Belief Networks （深度信任网络） Convolutional Neural Networks （卷积神经网络） 2021/3/17 * Convolutional Neural Networks(CNN) 2021/3/17 * Convolutional Neural Networks(CNN) 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 ? 2021/3/17 * 卷积神经网络原理图 ??? 如图所示,输入图像（Input）通过和三个可训练的卷积核和可加偏置进行卷积,卷积后在C1层产生三个特征映射图（Feature map）然后,C1层的Feature map在经过子采样（Subsampling）后,加权值,加偏置,再通过一个Sigmoid函数得到三个S2层的特征映射图。 2021/3/17 * CNN的Conv