机器学习——核函数讲义机器学习——核函数讲义.docVIP

核函数 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设是中的一个子集，称定义在上的函数是核函数，如果存在一个从到Hilbert空间的映射 (1.1) 使得对任意的， (1.2) 都成立。其中表示Hilbert空间中的内积。 定义1.2 （d阶多项式）设，则称乘积为的一个d阶多项式，其中。 有序齐次多项式空间 考虑2维空间中（）的模式，其所有的2阶单项式为 ，，， (1.3) 注意，在表达式(1.3)中，我们把和看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为。相应地可建立从原空间到多项式空间的非线性映射 (1.4) 同理，从到阶有序齐次多项式空间的映射可表示为 (1.5) 这样的有序单项式的个数为，即多项式空间的维数。如果在中进行内积运算，当和都不太小时，多项式空间的维数会相当大。如当，时，维数可达到上亿维。显然，在多项式空间中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查的情况，计算多项式空间中两个向量的内积 (1.6) 若定义函数 (1.7) 则有 (1.8) 即4维多项式空间上的向量内积可以转化为原始2维空间上的向量内积的平方。对于一般的从到阶有序多项式空间的映射（1.5）也有类似的结论。 定理1.1 考虑由式（1.5）定义的从到多项式空间的映射，则在空间上的内积可表为 (1.9) 其中 (1.10) 证明：直接计算可得 (1.11) 上述定理表明，我们并不需要在高维的多项式空间中直接做内积运算， 而利用式（1.10)给出的输入空间上的二元函数来计算高维多项式空间中的内积。 2. 有序多项式空间 在式（1.5）定义的映射中，多项式空间的分量由所有的阶有序单项式组成。如果把该多项式空间的分量扩充为所有不超过阶的有序单项式，便得到从到有序多项式空间的映射 (1.12) 对于这个映射，我们有如下的定理： 定理1.2 考虑有式（1.12）定义的从到多项式空间的映射，则空间上的内积可表为空间上的内积的函数，即若定义两个变量和的函数 (1.13) 则有 (1.14) 上述有序多项式空间的一个简单的例子是 (1.15) 3. 无序多项式空间 如果我们把式（1.4）中的和看作相同的单项式，那么我们就可以把从到4维多项式空间的映射（1.4）简化为从到3维多项式空间的映射 (1.16) 将映射（1.16）调整为 (1.17) 则相应的多项式空间称为2阶无序多项式空间，并且有 (1.18) 对式（1.5）所示的变换按下述方式操作：把中次序不同但因子相同的各分量合并为一个分量，并在该分量前增加一个系数，这个系数取为相应次序不同但因子相同的分量在中出现次数的平方根。这样得到的从到阶无序多项式空间的变换仍满足关系式 (1.19) 其中 (1.20) 根据定义1.1，我们称（1.13）和（1.20）分别为阶多项式核函数和阶齐次多项式核函数。 比较式（1.4）定义的变换和式（1.17）定义的可以发现，它们所映射到的多项式空间是不同的。前者是一个4维多项式空间，后者为一个3维多项式空间。但是内积是相同的，它们都可以表示为内积的函数。这说明：多项式空间不是由核函数唯一确定的。 §2 Mercer 核 1.半正定矩阵的特征展