机器学习综述精选.docVIP

机器学习综述 摘要：为了对高层次结构的抽象的表示，需要有能够对深层结构学习的模型。深层结构是由非线性的多层次组成，如神经网络有许多隐藏的层。深层结构的参数优化是一项困难的任务，例如最近提出的深信念网络（DBN）学习算法很好解决了该问题并取得了一定的成功。深度学习是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络浅层学习20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果自动编码器AutoEncoder） 3.2.1给定无标签数据，用非监督学习学习特征在我们之前的神经网络中，我们输入的样本是有标签的，即（input, target），这样我们根据当前输出和target（label）之间的差去改变前面各层的参数，直到收敛。但现在我们只有无标签数据我们将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，这个codeinput。这样，我们加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），很明显，这个code是靠谱的。所以，我们就通过调整encoder和decoder的参数，使得重构误差最小，这时候就得到了输入input信号的第一个表示了，也就是编码code。是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。通过编码器产生特征，然后训练下一层。这样逐层训练得到第一层的code，我们的重构误差最小让我们相信这个code就是原输入信号的良好表达了，或者说，它和原信号是一模一样的（表达不一样，反映的是一个东西）。第二层和第一层的训练方式就没有差别了，我们将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达? AutoEncoder存在一些变体稀疏自动编码器Sparse AutoEncoder）、降噪自动编码器Denoising AutoEncoders）和压缩自动编码器（Contractive AutoEncoder）。 但是，AutoEncoder不能用来分类数据，因为它没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入。或者说，它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。Restricted Boltzmann Machines） 假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted Boltzmann Machine (RBMs)。如果我们把隐藏层的层数增加，我们可以得到Deep Boltzmann Machine(DBM)；如