机器学习——核数讲义.docVIP

核函数 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设是中的一个子集，称定义在上的函数是核函数，如果存在一个从到Hilbert空间的映射 (1.1) 使得对任意的， (1.2) 都成立。其中表示Hilbert空间中的内积。 定义1.2 （d阶多项式）设，则称乘积为的一个d阶多项式，其中。 有序齐次多项式空间 考虑2维空间中（）的模式，其所有的2阶单项式为 ，，， (1.3) 注意，在表达式(1.3)中，我们把和看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为。相应地可建立从原空间到多项式空间的非线性映射 (1.4) 同理，从到阶有序齐次多项式空间的映射可表示为 (1.5) 这样的有序单项式的个数为，即多项式空间的维数。如果在中进行内积运算，当和都不太小时，多项式空间的维数会相当大。如当，时，维数可达到上亿维。显然，在多项式空间中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查的情况，计算多项