基于深度学习的数据驱动软测量的发展概念.ppt

1、深度学习介绍 深度学习（DL）又称深层神经网络，可理解为含有多个隐藏层的神经网络。 深度学习算法思想 第一步是预训练阶段。其中深度网络先通过无标签的数据进行无监督的预训练，并将训练的权值作为深度网络初始化的权值。 第二步是反向传播阶段。运用有标签的数据对整个网络进行有监督的反向传播和梯度下降训练，对初始权值进行微调。 浅层模型和深层模型的对比 深层模型训练面临的挑战 虽然几十年前人们就发现了深度网络在理论上的简洁性和较强的表达能力，但在深度学习问世之前，在训练深度网络方面传统的反向传播和梯度下降来训练深层模型时面临诸多困难： 1.数据获取问题。 2.局部极值问题。 3.梯度弥散问题。 2006年，Hinton提出了以自编码为训练方式的逐层贪婪训练算法，为深度神经网络带来了希望。 自编码器 自编码器利用一组无标签的训练数据，采用反向传播算法进行无监督的模型训练。 训练目标：输入=输出 自编码器利用训练数据隐含着特定的结构，隐藏层就会学到输入数据间的相关性。隐藏层就变成了输入数据的一种抽象的简化表示。 引入一个对应的解码器为了验证隐藏层的特征确实是输入的一种抽象表示，且没有丢失太多信息， 逐层贪婪算法的主要思路 1.每次只训练网络中的一层，即首先训练一个只含一个隐藏层的网络。 2.当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推。 3.在每一步中，我们把已经训练好的前K-1层固定，然后将前K-1层的输出作为输入，训练第K层。 4.将各层单独训练所得到的权重用来初始化最终的深度网络的权重。 逐层贪婪的训练方法取得成功要归功于以下几方面： 1、数据获取。 虽然获取有标签数据的代价是昂贵的，但获取大量的无标签数据是容易的。DL的潜力在于它能通过使用大量的无标签数据来学习到更好的模型 2、更好的局部极值 当用无标签数据训练完网络后，相比于随机初始化而言，各层初始权重会位于参数空间中较好的位置上。“逐层初始化”的步骤就是让模型处于一个较为接近全局最优的位置，从而获得更好的效果。 网络微调 使用反向传播法进行微调 逐层初始化完成后，就可以用有标签的数据，采用反向传播算法对模型进行有监督的训练。这一步是对多层模型整体的精细调整，一般被称作“微调。 微调将栈式自编码神经网络的所有层视为一个模型，这样在每次迭代中，网络中所有的权重值都可以被优化。 深度神经网络建模步骤： 原油蒸馏装置应用 软测量建模在线质量预测指标： 95％重柴油分馏点温度 原油蒸馏装置应用 在本研究中，数据集包含351个选自于最近一年的工艺操作中的过程/质量的样本。该数据集将251个样本分成训练集，另100个样本分为测试集。 应特别注意，选取的过程变量中另有1724个“无标签”的样本数据，这些数据没有质量样本作为回归目标。在这方面，过程变量中1724个“无标签”的样本被用于DL的无监督训练。但这些无监督数据不能被传统的数据驱动模型利用。 确立模型 通过十折交叉验证，确立用于质量预测的各模型结构： 1.深度神经网络的网络架构选择为16-20-16-1。 2.单隐层神经网络隐含层的神经元的数量选择为45。 3.支持向量机的核函数采用最常用的高斯核，正则化参数C=1.2 ε=0.01，r=0.07。 4.单纯PLS的训练集选定为11。 5.NNPLS潜变量的数量选择为11 ，神经元的数量选择为2。 与传统的数据建模方法对比 1、与传统的数据建模结构相比，深层结构在近似值方面是更有效和有力的。 2、传统的浅层经网络和支持向量机没有考虑潜变量;但是，深度神经网络通过预处理阶段建立潜变量模型，这使其能够充分利用大量的过程数据。随着越来越多的过程数据被采用，深度神经网络能够提取更多的过程信息，从而有更好的表示能力。 深度学习与SVM测试误差绝对值分布 1、运用深度学习预测误差的75％落入在±3℃的范围内，而SVM相对应为64％的。 2、与SVM相比深度学习显著减少较大的估计误差，这表明更好的泛化能力。 预处理训练的有效性验证 1、逐层贪婪训练算法让模型处于一个较为接近全局最优的位置，从而获得更好的效果。 2、没有先验知识DL模型仍然具有很好的表现能力。 参考文献 [1] Chao Shang, Fan Yang, Dexian Huang, Data-driven soft sensor development based on deep learning techniqe, J.Process control, 24(2014)223-233. 基于深度学习的数据驱动软测量的发展 姓名：赵京辉 学号浅层模型的局限性 深层模型的优势 模型结构 有限的参数和计算单元 有更多的输入特征，参数和计算单元,结