Deep Learning 常用模型或方法.docxVIP

1）给定无标签数据，用非监督学习学习特征： ??????之前的神经网络中，如图一，我们输入的样本是有标签的，即（input, target），这样我们根据当前输出和target（label）间的差去改变前面各层的参数，直到收敛。但现在只有无标签数据，即右图。那么这个误差怎么得到呢？ ????????如上图，我们将input输入一个encoder编码器，就得到一个code，这个code也是输入的一个表示，那我们怎么知道这个code表示的就是input呢？我们加一个decoder解码器，这时候decoder会输出一个信息，那如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），我们就有理由相信这个code是靠谱的。所以，我们就通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到了输入input信号的第一个表示了，即编码code。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。 2）通过编码器产生特征，然后训练下一层。这样逐层训练： ?????? 那上面我们就得到第一层的code，我们的重构误差最小让我们相信这个code就是原输入信号的良好表达了。那第二层和第一层的训练方式就没有差别了，我们将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达了。其他层就同样的方法炮制就行了（训练这一层，前面层的参数都是固定的，并且他们的decoder已经没用了，都不需要了）。 3）有监督微调： ????? 经过上面的方法，我们就可以得到很多层了。到这里，这个AutoEncoder还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。 ??????? 也就是说，这时候，我们需要将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，一个是只调整分类器（黑色部分）： ?????? 二：通过有标???样本，微调整个系统（若有足够多的数据，这是最好的。end-to-end learning端对端学习） ?????? 一旦监督训练完成，这个网络就可以用来分类了。神经网络的最顶层可以作为一个线性分类器，然后我们可以用一个更好性能的分类器去取代它。 Sparse AutoEncoder稀疏自动编码器： ?????如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到Sparse AutoEncoder法。 ?????? 如上图，其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效（人脑好像也是这样的，某个输入只是刺激某些神经元，其他的大部分的神经元是受到抑制的）。 Denoising AutoEncoders降噪自动编码器： ????????降噪自动编码器DA是在自动编码器的基础上，训练数据加入噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因此，这就迫使编码器去学习输入信号的更加鲁棒的表达，这也是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训练。 7.2、Sparse Coding稀疏编码 ?????? 若把输出和输入必须相等的限制放松，同时利用线性代数中基的概念，即O = a1*Φ1 + a2*Φ2+….+ an*Φn， Φi是基，ai是系数，我们可以得到这样一个优化问题：Min |I – O|。通过求解这个最优化式子，我们可以求得系数ai和基Φi，这些系数和基就是输入的另外一种近似表达。 ???????Sparse Coding：在上述式子上加上L1的Regularity限制，得到：Min |I – O| + u*(|a1| + |a2| + … + |an |) ???????? 稀疏编码 HYPERLINK /base/datastructure \o 算法与数据结构知识库 \t _blank 算法是种无监督学习方法，它用来寻找一组超完备基（基向量的个数比输入向量的维数要大）来更高效地表示样本数据。它能更有效地找出隐含在输入数据内部的结构与模式，但超完备基系数ai不再由输入向量唯一