模式识别导论第九章模式分析的核方法.pptVIP

第9章 模式分析的核方法 　　现实世界存在的数据是复杂的，传统的线性学习器一般很难适用于线性不可分数据的划分问题，为此人们需要利用比线性函数更富有表达能力的假设空间。核方法提供了一种很好的解决途径，它利用特征映射将低维输入空间中的线性不可分数据映射到高维特征空间(一般来说，该高维特征空间是一个希尔伯特空间)，使其在该空间中变得线性可分。该方法使得数据在高维空间中易于处理，同时又避免了高维空间带来的维数灾难问题，大大提升了传统线性学习器的计算能力。对核方法的研究受到了研究者越来越多的关注。　　本章首先介绍核函数的基本理论，然后对模式识别领域中几种经典的核方法进行叙述。 　　　　　　　9.1 核 函 数9.1.1 非线性特征映射和核函数　　给定l维输入空间X上的一个模式x=(x1，x2，…，xq)T，采用一种非线性特征映射函数Φ(·)将x从q维原模式特征空间映射到Q维变换特征空间，即 其中，Φ(x)=(Φ1(x)，Φ2(x)，…，ΦQ(x))T。Φ(·)表示一个从低维特征空间到高维特征空间的非线性映射，映射的目的是将非线性可分的样本在变换特征空间中线性可分。以图9.1中左侧的数据为例，对其进行非线性映射，得到图9.1中右侧的数据，可以明显看出，数据在新特征空间中是线性可分的。　　在现实生活中，很多问题都不能用线性函数来表示，但是如果改变其表达形式，则有可能用线性函数来描述。下面以物理学中的万有引力定律为例进行说明。 图9.1 低维空间中的线性不可分数据映射到 高维空间后变成线性可分 　　例9.1 牛顿万有引力定律是解释物体之间的相互作用的引力定律，其表达式为其中,m1和m2为两个物体的质量，r为它们之间的距离。很明显，传统的线性学习器是不能表达这种关系的。我们按照如下方式对坐标进行变换；可以得到新的表达方式；该表达式可以通过一个线性学习器进行学习。 　　根据模式识别理论，低维空间线性不可分的模式可以通过非线性映射将其映射到高维特征空间来实现线性可分，此高维特征空间应该是完备且可分的内积空间。所谓内积空间是指，在向量空间X上，如果存在一个实值对称的双线性(对于每个自变量来说都是线性的)映射〈·，·〉(这一映射也被称为内积)，该映射满足〈x，x〉≥0，则该向量空间是一个内积空间。此外，如果当且仅当x=0时〈x，x〉=0，则称内积是严格的。严格内积空间也被称为希尔伯特空间，下面给出其正式的定义。 　　定义9.1 希尔伯特空间F是一个具备可分性和完备性的严格内积空间。完备性是指F中的元素的每一柯西序列{hn}n≥1都收敛于元素h∈F。这里，柯西序列是满足性质的序列。可分性是指空间F中有一组可数元素h1，…，hi，…，使得对于所有的h∈F和ε0，存在i满足　　　　　　||hi－h||ε 　　　　　　　　　　 (9-3) 　　如果直接在映射后的特征空间进行分类，则存在确定非线性映射函数的形式和参数以及特征空间维数等问题。此外，在高维空间进行运算存在“维数灾难”问题。有时候我们可以把内积作为输入特征的直接函数来更高效地计算内积，而不用显式地计算映射函数Φ(·)。我们把这种直接计算内积的技术称为核函数技术。下面给出核函数的定义。 　　定义9.2 对于所有的x，　　　　　，若函数K满足　　　　　K(x，z)=〈Φ(x)，Φ(z)〉　　　 (9-4)则称函数K是核函数，其中Φ是从输入空间X到特征空间F的一个映射(见式(9-1))，〈·，·〉表示内积。　　下面给出一个核函数的例子来说明非线性特征映射和核函数的关系。　　例9.2 考虑一个二维输入空间　　　　　，假设通过特征映射得到 那么，F中的线性函数的假设空间将是通过上面这样一种特征映射方式，输入空间中的数据从二维空间被映射到三维空间。在特征空间中，利用给出的特征映射结果和内积操作，可以得到 　　因此，函数K(x，z)=〈x，z〉2就是一个核函数。这意味着我们可以计算两个点在原输入特征空间上的内积，而不用显式地求出它们在新特征空间F的坐标。此外，〈x，z〉2也可以是下面给出的四维特征映射的内积，这表明特征空间并不能由核函数唯一确定。 9.1.2 核函数的基本理论　　定义9.2中给出了核函数K与映射Φ之间的关系。在实际应用中，非线性映射Φ的具体表达式是很难直接给出的，我们可以通过核函数的构造和确定来隐式地定义特征空间，避免对原数据进行映射。下面给出几个与核函数相关的概念和性质。　　定义9.3(Gram矩阵) 给定一个向量集合X={x1，x2，…，xn}，Gram矩阵G为n×n的矩阵，其矩阵元素Gij=〈xi，xj〉。 　　定义9.4(核函数矩阵) 给定输入空间的向量集合X={x1，x2，…，