基于深度学习的数据驱动软测量的发展.ppt

1、深度学习介绍 深度学习（DL）又称深层神经网络，可理解为含有多个隐藏层的神经网络。 深度学习算法思想 第一步是预训练阶段。其中深度网络先通过无标签的数据进行无监督的预训练，并将训练的权值作为深度网络初始化的权值。 第二步是反向传播阶段。运用有标签的数据对整个网络进行有监督的反向传播和梯度下降训练，对初始权值进行微调。 浅层模型和深层模型的对比 深层模型训练面临的挑战 虽然几十年前人们就发现了深度网络在理论上的简洁性和较强的表达能力，但在深度学习问世之前，在训练深度网络方面传统的反向传播和梯度下降来训练深层模型时面临诸多困难： 1.数据获取问题。 2.局部极值问题。 3.梯度弥散问题。 2006年，Hinton提出了以自编码为训练方式的逐层贪婪训练算法，为深度神经网络带来了希望。 自编码器 自编码器利用一组无标签的训练数据，采用反向传播算法进行无监督的模型训练。 训练目标：输入=输出 自编码器利用训练数据隐含着特定的结构，隐藏层就会学到输入数据间的相关性。隐藏层就变成了输入数据的一种抽象的简化表示。 引入一个对应的解码器为了验证隐藏层的特征确实是输入的一种抽象表示，且没有丢失太多信息， 逐层贪婪算法的主要思路 1.每次只训练网络中的一层，即首先训练一个只含一个隐藏层的网络。 2.当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推。 3.在每一步中，