基于深度学习的数据驱动软测量的发展概况.pptVIP

基于深度学习的数据驱动软 测量的发展 姓名：赵京辉 学号： 1 、深度学习介绍 深度学习（ DL ）又称深层神经网络，可理解为含有多个隐藏层的神经 网络。 深度学习算法思想 第一步是预训练阶段。其中深度网络先通过无标签的数据进行无监督 的预训练，并将训练的权值作为深度网络初始化的权值。 第二步是反向传播阶段。运用有标签的数据对整个网络进行有监督的 反向传播和梯度下降训练，对初始权值进行微调。 浅层模型和深层模型的对比 浅层模型的局限性 模型结构 有限的参数和计算单元 深层模型的优势 有更多的输入特征，参数和计算单 元 , 结构紧凑简洁 强大 表达能力 有限，泛化能力有限 特征提取 特征工程 一般仅使用有标签的数 据 依赖更多先验知识 自动提取特征 训练数据 可使用无标签和有标签的数据结合 先验知识 依赖较少先验知识 深层模型训练面临的挑战 虽然几十年前人们就发现了深度网络在理论上的简洁性和较强的表达 能力，但在深度学习问世之前，在训练深度网络方面传统的反向传播 和梯度下降来训练深层模型时面临诸多困难： 1. 数据获取问题。 2. 局部极值问题。 3. 梯度弥散问题。 2006 年， Hinton 提出了以自编码为训练方式