Deep Learning算法分析与模型改进.docVIP

Deep Learning算法分析与模型改进 　　摘要：Deep Learning[1]带来了机器学习的新浪潮，Google Brain项目、微软全自动同声传译系统、百度研究院都是很好的见证。Deep Learning推动了“大数据+深度模型”时代的来临，已经受到学术界和工业界广泛重视，它带来的科技进步将改变人们的生活。本文从Deep Learning多隐含层感知架构、训练和数据处理过程方面，分析Deep Learning算法；并基于Regularization of Neural Networks using DropConnect[2]模型，提出了新的改进方法并描述分析了该新方法。最后提出了改进Deep Learning算法的思维方式并展望了Deep Learning的美好前景。 　　关键词：Deep Learning；多隐含层感知；DropConnect；算法 　　中图分类号：TP181 　　Deep Learning是机器学习研究的新领域，它掀起了机器学习领域的第二次浪潮，并受到学术界到工业界高度重视。Deep Learning概念根源于人工神经网络[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模拟人脑分析学习机制的多层次神经网络，并通过这种网络分析解释数据，如视频、文本和声音等。Deep Learning的多隐含层使得它具有优异的特征学习能力，而且学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。它的“逐层初始化”（layer-wise pre-training[4]）可以有效克服深度神经网络在训练上的难度。本文在对Deep Learning算法分析的基础上，着重阐述了对Regularization of Neural Networks using DropConnect模型的改进。 　　1 Deep Learning算法分析 　　1.1 Deep Learning多隐含层感知架构 　　Deep Learning算法最优秀特征是多隐含层感知器架构，这种架构通过组合低层特征来形成更加抽象的高层属性类别或特征，并实现对数据分布式表示。Deep Learning的多隐含层结构是由输入层、隐层（多层）、输出层组成的多层网络（如图1所示），只有相邻层神经元之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个浅层机器学习模型（如logistic regression，Support Vector Machines）。 　　图1 含多个隐含层的Deep Learning模型 　　Deep Learning的多隐含层感知结构模拟的是人脑的大脑皮层工作。人大脑皮层计算也是分多层进行[5]，例如图像在人脑中是分多个阶段处理，首先是进入大脑皮层V1区提取边缘特征，然后进入大脑皮层V2区抽象成图像的形状或者部分，再到更高层，以此类推。高层的特征是由底层组合而成。使用含多隐含层感知器架构网络主要优势在于它能以更简洁的方式表达比浅层网络大得多的函数关系（如图2）。通过这种深层非线性网络结构，Deep Learning可以实现复杂函数的逼近，表征输入数据的分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。 　　图2 多层次实现复杂函数图 　　1.2 Deep Learning训练过程 　　（1）首先逐层构建单层神经元，使得每次都是训练一个单层网络。 　　（2）当所有层训练完后，使用Wake-Sleep算法[6]进行调优。 　　将除最顶层的其它层间的权重是双向的。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让“认知”和“生成”达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。 　　1.3 Deep Learning数据处理一般过程 　　Deep Learning算法通过传感器等方式获得数据之后，首先对数据进行预处理。在数据预处理中，标准的第一步是数据归一化处理，第二步是数据白化处理（如PCA白化和ZCA白化）。其次特征提取和特征选择。然后将输出作为下层的输入，不断进行特征提取和特征选择，直到学习到合符要求的最佳特征。在特征提取和特征选择过程中，常用自动编码、稀疏编码、聚类算法、限制波尔兹曼机、卷积神经网络等算法进行特征提取和特征选择。然后用反向传播算法、随机梯度下降算法、批量梯度下降算法等进行调优处理，再用池化等算法避免特征过度拟合，从而得到最终提取特征。最后将学习到的最终提取特征输入到分类器（如softmax分类器，logistic回归分类器）进行识别、推理或预测。 　　2 基于Regularization of Neural Networks using DropCo