深度学习降维过程中信息损失度量研究.docVIP

深度学习降维过程中信息损失度量研究 　　摘 要：随着技术的发展，人们对机器学习予以了关注，并展开了深入的研究，近年来深度学习这一概念被提出，它涉及到数据挖掘、智能识别等众多领域，在底层特征组合的辅助下，用于展示属性的高层特征可以有效形成，并以分布式的形式展示出来。而降维是深度学习的重要组成部分，在提取数据特征，提升识别速度与识别率等方面发挥着不可替代的作用，但与此同时也会不可避免的造成信息损失，对此展开研究有着重要意义。文中将对深度学习原理与信息熵原理进行简述，并探究降维过程中信息损失度量模型的构建方法。 　　关键词：深度学习；降维过程；信息损失；度量研究 　　中图分类号：G202 文献标志码：A 文章编号：2095-2945（2017）30-0007-02 　　深度学习根据对人脑的建立与模拟，实现对深层神经网络的分析与学习，通过对人脑思维机制的模拟来分析、理解数据，降维处理可以使低维编码借鉴数据本质的描述，但是此时梯度耗散等问题也较为明显，此时可以逐层预训练权值，最终获得权值的初始值，在对网络结构予以微调处理，从而降低耗散的影响，保证深度学习的有效实现。对降维信息损失度量问题展开研究是十分必要且重要的。 　　1 深度学习原理与信息熵原理 　　1.1 深度学习 　　人脑视觉系统是深度学习概念提出的依据，人脑中存在方向选择性细胞，当处于眼前的物体，其边缘指向某一方向，且边缘被瞳孔捕捉到时，方向选择性细胞就会呈现出较为活跃的状态。此时瞳孔会受到物体的刺激，而神经元细胞继而活跃，最后信息被传递到中枢大脑中，这个过程是视觉反应的过程，具有不断抽象、多层传递等特点。其中最底层信息即为原始信号，视觉系统会在视觉信号中抽象出基本特征，这些特征能够构成新数据层，系统会进一步从这个数据层中抽象出物体中可以体现出属性或类别的特征，使之形成更高数据层。这种特征提取的抽象过程是不断重复的，当大脑将信号准确辨别出来后，整个过程才算完成。 　　深度学习就是对这个过程的模拟，当人工神经网络被模拟出来后，就可以将原始信号输入到其中，然后进行分层提取处理，将有效特征抽象出来，与人脑相似，系统中最终输出的特征信息只是极少数具有参考价值的数据。栈式自动编码器就是这种模拟结构，稀疏自动编码器通过首尾相接的方式连接到一起，就构成了栈式自动编码器，并形成神经网络。 　　1.2 信息熵 　　熵的概念来源于热力学，分子状态的混乱程度可以用热熵来表示，在深度学习中，信息熵可以用来形容信源的不确定性。在信息论中，事件的信息可以用该事件发生概率所对应的倒数来表示，可以用i来表示系统所处的某一个状态，此时该状态发生的概率则可以用Pi来表示，那么信息就可以用如下公式来表示： 　　2 降维过程中信息损失度量模型的构建方法 　　2.1特征表达与数据降维的现实意义 　　事物通常具有较为复杂的内容与形式，此时需要挖掘事物的本质，透过表象了解事物的特征，将其具有特征的数据抽象出来，而这种特征是事物本身蕴含的多个变量，应用特征来展示事物的方式具有完整性与简洁性。在深度学习系统中，特征即为原材料，它对于模型构建的结果有着较为直接的影响。特征表达以及数据的选择会影响到算法的性能，如果数据可以被准确的提取出特征，那么即使模型相对简单，也可以得到较高的精度，因此在建立模型、构建算法以前，一定要对数据进行必要的预处理。与虚拟世界相比，现实世界中的信息数据呈现出高维特征，这类数据的处理过程具有量大基本特性，首先是维度灾难，即高维数据的处理面临较多的困难，冗余信息过多，后期数据处理内容繁多、过程琐碎；其次是维度福音，高维数据中包含的信息是极为丰富且全面的，客观事物的所有信息都涵盖在其中，因此问题解决的有效性与可能性会大大的增加。 　　在现实生活中，虽然事物多呈现出高维状态，具有较强的复杂性，但是可以用于处理、支配事物的变量是极为简单，且数量较少的，因而事物处理的关键在于如何在复杂多样的数据中提取出与事物本质规律相关的因素。以图像处理领域为例，如果将初级特征设为原始像素值，那么图像处理中维度会相对较高，此时必须进行降维处理，这样才能获得更为准确、简洁的特征要素，传统降维方法为PCA法，这种方法降维效果并不理想，在深度学习中，可通过构造模块展开建模，应用稀疏自动编码器做相应处理。 　　2.2 栈式自动编码器 　　自动编码属于深度学习技术中的一种，具有无监督的特点，高维输入可以通过神经网络获得的低维来表达。传统线性降维具有一定的局限性，以主成分分析为例，需要在高维数据层面上获得较大方差，只有获得较大方差所在的轴，才能够将信息输入的主要方向捕获，继而实现降维，在这种降维模式中，特征维度受到了极大的限制，而栈式自动编码器则可以有效克服这一限制，其系统中存在非线性神经网络，模拟人脑的视觉