模式识别第三章.docVIP

3 回归的线性模型 至此，本书都聚焦在无监督学习，包括的议题有密度估计和数据聚类。我们现在转向监督学习，并从回归开始。回归的目的是：对给定的输入变量的D维向量x值，预测一个或更多连续目标变量t值。我们在第一章考虑多项式曲线拟合时，已经遇到过一个回归问题的例子。多项式是线性回归模型的一大类函数中一个具体的例子，它也有含可调参数的线性函数的性质，并将组成本章的焦点。最简单的线性回归模型也是输入变量的线性函数。但是，通过取输入变量的一组给定的非线性函数的线性组合，我们可以获得更有用的函数类，称为基函数。这样的模型是参数的线性函数，它们有简单的解析性，并且关于输入变量仍是非线性的。 给定一个训练数据集合，它有N个观察值，其中n=1,…,N，以及对应的目标值，目的是给定一个新的预测的值。最简单方法是直接构造一个适当的函数，对一个新输入，它的值组成对应的的预测值。更一般地，从概率角度考虑，我们想建立一个预测分布，因为它表示了对的每一个值，值的不确定性。由这个条件分布，我们可以为任意的新值预测，这相当于最小化一个适当选择的损失函数的期望。如在第1.5.5所讨论的，通常选择损失函数的平方作为实值变量的损失函数，因为它的最优解由的条件期望给出。 对模式识别来说，虽然线性模型作为实用的技术有显著的限制，特别是涉及到高维输入空间的问题，但是它们具有好的解析性质，并且是以后章节要讨论的更复杂模型的基础。 3.1 线性基函数模型 最简单的线性回归模型是输入变量的线性组合： （3.1） 其中，这就是通常简称的线性回归。此模型的关键特征是：它是参数的一个线性函数。但同时它也是输入变量的一个线性函数，这对模型产生了很大的限制。因此，通过考虑输入变量的给定的非线性函数的线性组合，我们来扩展此类模型，形式为： （3.2） 其中被称为基函数。标注下标的最大值为M-1，则此模型中总的参数数目是M。 参数容许数据中的任何固定偏差，它常被称作偏差参数。为方便起见，我们常定义一个附加的哑“基函数”，则 （3.3） 其中，。在模式识别的许多实际应用中，我们对原始数据变量进行一些给定的预处理或者特征提取，如果原始变量包含向量，那么特征可由基函数的形式来表征。 通过使用非线性基函数，我们使函数成为输入向量的一个非线性函数。而形式为（3.2）的函数仍然称为线性模型，因为此函数在中是线性的。正是参数中的线性性质使得此类模型的分析大为简化，但它也导致了一些限制，这些将在3.6节讨论。 第一章中讨论到的多项式回归的例子是一个特殊的例子，它只有单一输入变量，并且基函数取为的幂，即。多项式基函数的一个限制是它是输入变量的全局函数，因此输入空间一个区域的变化会影响到整个区域。将输入空间分解为多个区域可解决这个问题，并且在每个区域都对应一个不同的多项式，这就引出了样条函数（Hastie等，2001）。 基函数有许多其它可能的选择，如 （3.4） 其中控制输入空间中基函数的位置，参数s控制它们的空间比例。这些通常被称为“Gaussian”基函数，值得注意的是，它们不需要有概率上的意义，且在特定条件下，归一化系数也不那么重要，因为这些基函数将会乘上自适应参数。 另一种可能的选择是形式为 （3.5） 的S型基函数，其中是定义为 （3.6） 的逻辑斯蒂S型函数。同样地，我们可以使用“双曲正切”函数，因为由可得到逻辑斯蒂S型函数，因此逻辑斯蒂S型函数的一般线性组合，相当于是双曲正切函数的一般线性组合。图3.1绘制出了不同的基函数选择。 图3.1 基函数的实例，左图是多项式函数，中图是形如式（3.4）的Gaussian函数，右图是形如式（3.5）的S型函数 另一种可能的基函数是傅里叶基，它使得正弦函数得到扩充。每个基函数代表一个特殊频率并且有无限的空间范围。相比之下，限定在输入空间的有限区域内的基函数，必然包含一个不同空间频率的频谱。在信号处理的一些应用中，我们感兴趣的是基函数在空间和频率上都是局部的，这就产生一类称作小波的函数。它们也被定义为相互正交的，以简化它们的应用。当输入值在规则格子中时，小波是极其有用的，例如一个时间序列的连续时间点，或者一幅图像的像素。有关小波的经典理论包含在Ogden（