监督字典学习.docVIP

摘要 这是目前公认，稀疏信号模型非常适合恢复任务，并且可以有效地从音频，图像和视频数据中学习。最近的研究目的在于研究有区别的稀疏模型，而不是纯粹的重建稀疏模式。在这个方向，本文提出了一种新的方法，针对一个共享的字典和有区别类模型，为属于不同类别的信号，提出了一种新的稀疏表示方法。该模型的线性版本存在一个简单的概率解释，而它的最一般的变种也承认对其核心的一种解释。为学习的所有提出的模型，提出了优化框架组件，以及在标准手写体数字和质地分类任务的实验结果。 引言 稀疏和完备的图像模型，首次在[1]介绍是为了在人类视觉系统建造简单细胞的空间感受。最近，信号的线性分解利用学到了几个原子字典，而不是预定义的，如小波，导致众多低级别的图像处理任务状态的最先进的成果，如去噪[2] ，可见稀疏模式很好地适应自然的图像。不同于主成分分析的分解??，这些模型一般完备，大量的基础元素多于数据的维数。最近的研究表明，稀疏有助于捕捉高层次数据的相关性。在[3，4]，稀疏分解是用于信号识别人脸和预定义的字典。 [5]，字典学习是为了重建任务，而且在SVM中相应的稀疏模型作为一个使用的功能。在文献[6]，介绍了鉴别方法是各种分类的工作，学习每一个字典类，分类过程本身就是在相应的重建误差的基础上，并没有实际利用分解系数。在 [7]中，一个文件的生成模型被研究，同时作为一个深度网络结构的参数。在 [8]中，通过学习特征进行多任务学习同时使用一个稀疏准则来选择任务。本文中我们提出的框架，扩展了这些方法，通过学习一个简单的共享字典，正如在一个混合的模式和有区别的陈述中的不同的单个类别（【9】中可以看到，一个不同有区别的模型被添加到一个传统的重构模型中）。类似的联合生成/区别性框架已经开始出现在概率的学习方法，例如，[10，11，12，13，14]，并在神经网络[15]，但没有，就我们所知，在稀疏字典学习框架。第2节为不同分类任务的字典学习提出了一个构想，我们称之为字典学习监督，在第3节中，给出了解释，根据概率和内核框架。第4节中给出了详细的最优化过程，第5节中给出了实验的结果。 2 字典学习监督 本节中我们提出了该模型的核心。在传统稀疏编码任务中，人们考虑在 Rn中一个信号和在Rn × k中一个固定的字典D = [d1….dk]（允许KN，使字典完备）。在这种背景下，一个稀疏编码?1 regularization1数额计算 这是众所周知的统计数据，优化和压缩传感领域的?1刑罚产生一个稀疏的解决方案，在中很少有非零系数，虽然在这个模型范围内λ1值和有效的稀疏性之间没有明确的联系。使用?0 regularization2其他稀疏处罚可以被很好的使用。由于它使用了适当的规范，?1编码稀疏的制定是一个凸问题，这使得优化易于用算法，例如在[16，17]介绍的那些，来训练，并已在实践中被证明是比其?0对应的稳定，在某种意义上说，分解所产生的结果对那些输入信号产生的@小微扰并不敏感。稀疏与?0刑罚编码是一个NP -难问题，常采用贪心算法来接近。在本论文中，我们考虑设置，其中信号可能属于不同的P分类。我们首先考虑的P = 2类别的情况，后来讨论多类延伸。我们考虑，在Rn中一系列m标记信号训练，与二进制标签相关联。我们的目标是共同学习单个字典D，适应分类任务同时函数f应对于任何类别+1之后的信号都为正，否则为负。本文中，我们考虑，使用两种不同模型为分类任务使用的稀疏编码： （i）线性：参数化模型 （ii）双线性x和：在这种情况下，该模型是双线性而且f由x和同时影响。 （ii）中的参数的数量比（i）中多，这对于丰富的模型是允许的。请注意到可以把W作为一个线性的滤波器，为系数，对输入信号x编码，它的作用类似于[18]的编码器，但是一个不同的任务。 一个经典的方法来为（i）或（ii）获取是先使得D适应数据，解决 还要注意，由于重建的错误，通过一个标量，规划D，和它的倒置来规划同时进行是不变的，我们需要限制D的列的l2范数。这样一个限制是一个传统的稀疏编码[2]。这种重构方法（本文称为REC）为每个信号提供稀疏编码，可用于在一个常规的分类，如逻辑回归，这些需要解决。 其中C是逻辑损失函数，享有性质类似于从SVM的文献的转移损失，而被微，而且λ2是一个正规化参数，防止过度拟合。这是在[5]（与SVMS）选择的方法。然而，我们的目标是共同学习D和模型参数。为此，我们提出了公式 控制重构时期的重要性，以及一对的损失是 在这种背景下，同一个未知的标签Y给定一个学习字典D和参数，一个新的信号x的分类程序涉及监督稀疏编码： （6） Eq学习的过程。（4）最大限度地减少了成对成本总和，相当于一个生成模型。我