大数据解析与应用导论 课件 第9章 自编码器.pptx

1大数据解析与应用导论Introduction to Big Data Analytics and Application 第九章 自动编码器 自编码器简介1.去噪自编码器2.稀疏自编码器3.变分自编码器4. 9.1 自编码器简介（1）监督学习，半监督学习与无监督学习监督学习数据有标签“对答案”模型在有标签数据上学习，对无标签数据进行判断回归、分类半监督学习数据部分有标签在有标签数据和无标签数据混合成的数据上进行训练自训练算法、基于图的半监督算法等无监督学习数据没有标签“自学成才”模型在没有标签的数据上发现数据的特点聚类 9.1 自编码器简介（2）生成模型与判别模型 判别式模型 生成式模型从属性X预测标记Y，即求概率P(Y|X)：判别式模型对未见示例X，根据P(Y|X)直接求得标记Y，即可以直接根据判别边界判别出来。线性回归模型支持向量机生成式模型对于未见示例X，求出X与不同类别标记之间的联合概率分布，最大的即X的标记。朴素贝叶斯模型隐马尔可夫模型自编码器 9.1 自编码器简介（3）自编码器简介 自编码器是一种通过无监督学习，学习数据高效表示（潜在空间中的特征）的神经网络。由编码器和解码器构成。编码器：将原始输入压缩成为潜在空间内的特征解码器：以来自潜在空间特征为输入，尝试重构原始输入 9.1 自编码器简介（3）自编码器简介? 9.1 自编码器简介（3）自编码器简介自编码器的特征：压缩编码 编码器输出的特征h的维度一般需要比原始输入的维度更小。足够的编码能力 编码器与解码器都是神经网络。一般需要使用多层神经网络，能更好的对隐含特征进行提取。 9.1 自编码器简介（4）去噪自编码器Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(12).降噪自编码器的训练过程中，输入的数据有一部分是“损坏”，“有噪声”的能够基于“损坏”的原始数据编码、解码，还能恢复真正的原始数据，这样的特征才是好的。 9.1 自编码器简介（5）稀疏自编码器一般来说，自编码器的隐层节点数小于输入层的节点数 在训练过程中，自编码器倾向于去学习数据内部的规律，得到输入数据的降维表示。?如果设定隐层节点数大于输入层节点数，同时又想得到输入数据内一些有用的特征 给自编器加上一个稀疏性的限制，即在同一时间，只有某些隐层节点是“活跃”的，这样整个自编码器就变成稀疏的。 9.1 自编码器简介（6）变分自编码器Kingma D P, Welling M. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.VAE 希望构建一个从隐变量?Z?生成目标数据?X?的模型。x:能观测到的数据z:隐变量 （7）自编码器的应用举例9.1 自编码器简介自编码器的常见应用：数据降维、去噪图像修复、生成异常检测… （8）自编码器总结9.1 自编码器简介基于数据样本，自编码器能从中进行非线性的无监督学习，在不需要其他特征工程的情况下提取压缩后的特征。可用于协助其他算法取得良好的性能。自编码器的目的是为了提取有用的特征使输入通过编码器和解码器后，保留尽可能多的信息训练自编码器来使新表征具有多种不同的特性 13大数据解析与应用导论Introduction to Big Data Analytics and Application 第九章 自动编码器 自编码器简介1.去噪自编码器2.稀疏自编码器3.变分自编码器4. 9.2 去噪自编码器（1）原理介绍去噪自编码器（Denoising Auto-Encoder, DAE）是一类接受损坏数据作为输入，并训练来预测原始未被损坏数据作为输出的自编码器。噪声数据（输入）原始数据重构数据（输出）隐变量Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.-A.(2008). Extracting and composing robust features with denoising autoencoders (Technical Report 1316). Universite de Montreal, dept. IRO. （1）原理介绍9.2 去噪自编码器?训练使用的数据不同！