高效稀疏编码算法.docxVIP

高效稀疏编码算法1 Introduction稀疏编码提供了发现对于外来刺激简明表示的一系列算法；给予未标记的输入数据，它学习可以抓住数据高水平特征的基函数。当一个稀疏编码算法英语到自然图像时，学习的基函数就类似于视觉皮层中的神经元感受野；此外，当应用到其他自然刺激例如语音和视频时，稀疏编码产生局部基函数。不同于其他无监督学习技术例如主成分分析，稀疏编码可以应用到学习超完备基函数，其中基函数的维度大于输入数据维度。稀疏编码同样可以通过稀疏化它们的刺激来生成基函数之间抑制模型。同样的性质可以在生物神经元中观察到，这样使得稀疏编码得到视觉皮层的合理模型。尽管关于稀疏编码模型有良好的前景，我们认为它们的发展很大程度上被昂贵的计算代价所阻碍。特别是学习大维度，超完备代表时就会极度耗费计算资源。在这篇文章中，我们提出了一类基于变量两组子集的交替优化的高效稀疏编码。这类优化问题是凸问题；特别地，对于第一个子集的优化是一范数最小二乘问题；第二个子集则是二范数最小二乘问题。我们描述了每个算法并经验地分析了它们的表现。我们的方法允许我们高效地学习来及自然图像的高维度超完备基函数。我们证明了结果学习基展示了终止情况和对于传统感受野之外刺激的调整。此外，稀疏编码同样提供了对于V1区神经元这些现象的局部解释。在最近的工作中，我们展示了学习高水平特征的简明表示可以应用到监督分类任务。2 Preliminari