Deep Learning论文笔记之(二)Sparse Filtering稀疏滤波.docVIP

Deep Learning论文笔记之（二）Sparse Filtering稀疏滤波 zouxy09@ /zouxy09 ? ?????????自己平时看了一些论文，但老感觉看完过后就会慢慢的淡忘，某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下，一方面在整理过程中，自己的理解也会更深，另一方面也方便未来自己的勘察。更好的还可以放到博客上面与大家交流。因为基础有限，所以对论文的一些理解可能不太正确，还望大家不吝指正交流，谢谢。 ? ?????? 本文的论文来自： Sparse filtering?, J. Ngiam, P. Koh, Z. Chen, S. Bhaskar, A.Y. Ng. NIPS2011。在其论文的支撑材料中有相应的Matlab代码，代码很简介。不过我还没读。 ?????????下面是自己对其中的一些知识点的理解： ? 《Sparse Filtering》 ?????? 本文还是聚焦在非监督学习Unsupervised feature learning算法。因为一般的非监督算法需要调整很多额外的参数hyperparameter。本文提出一个简单的算法：sparse filtering。它只有一个hyperparameter（需要学习的特征数目）需要调整。但它很有效。与其他的特征学习方法不同，sparse filtering并没有明确的构建输入数据的分布的模型。它只优化一个简单的代价函数（L2范数稀疏约束的特征），优化过程可以通过几行简单的Matlab代码就可以实现。而且，sparse filtering可以轻松有效的处理高维的输入，并能拓展为多层堆叠。 ???????? sparse filtering方法的核心思想就是避免对数据分布的显式建模，而是优化特征分布的稀疏性从而得到好的特征表达。 ? 一、非监督特征学习 ?????????一般来说，大部分的特征学习方法都是试图去建模给定训练数据的真实分布。换句话说，特征学习就是学习一个模型，这个模型描述的就是数据真实分布的一种近似。这些方法包括denoising autoencoders，restricted Boltzmann machines (RBMs)，independent component analysis (ICA)?和sparse coding等等。 ?????????这些方法效果都不错，但烦人的一点就是，他们都需要调节很多参数。比如说学习速率learning rates、动量momentum（好像rbm中需要用到）、稀疏度惩罚系数sparsity penalties和权值衰减系数weight decay等。而这些参数最终的确定需要通过交叉验证获得，本身这样的结构训练起来所用时间就长，这么多参数要用交叉验证来获取时间就更多了。我们花了大力气去调节得到一组好的参数，但是换一个任务，我们又得调节换另一组好的参数，这样就会花了俺们太多的时间了。虽然ICA只需要调节一个参数，但它对于高维输入或者很大的特征集来说，拓展能力较弱。 ?????????本文中，我们的目标是研究一种简单并且有效的特征学习算法，它只需要最少的参数调节。虽然学习数据分布的模型是可取的，而且效果也不错，但是它往往会使学习的算法复杂化，例如：RBMs需要近似对数划分log-partition函数的梯度，这样才可能优化数据的似然函数。Sparse coding需要在每次的迭代过程中寻找活跃的基的系数，这是比较耗时的。而且，稀疏因子也是一个需要调整的参数。本文方法主要是绕过对数据分布的估计，直接分析优化特征的分布。那怎样的特征的分布才是优的呢？到这里，我们需要先关注特征的一些主要属性：population sparsity，lifetime sparsity和?high dispersal。怎样的特征才是好的特征，才是对分类或者其他任务好的特征。我们的学习算法就应该学会去提取这种特征。 ? 二、特征分布 ?????????上面讨论的特征学习算法都可以认为是生成特定的特征分布Feature distributions。例如，sparse coding只用少许的非零系数（特征）来描述每个样本。而一个面向特征分布的方法可以认为是直接优化特征分布的一些属性，使其可以更好的描述样本。 ?????????我们引入一个特征分布矩阵，矩阵的每一行是一个特征，每一列是一个样本。每个元素表示第i个样本的第j个特征的激活值。由上面的分析可以知道，这是一个由输入到特征的映射函数（特征提取函数）来得到。 ?????????下面我们就来讨论下什么样的特征分布才是好的： 1）每个样本的特征应该是稀疏的（Population Sparsity） ?????????每个