核方法（2核的性质.PDFVIP

核方法（2 ）-核的性质 Y.Q. Wang 2016 年 1 月25 日 1 摘要 上一回且说到核方法到底是什么，为了具体说明，以线性回归为例，通过找原问题的对偶形 式，做特征映射，改写原问题中的Gram 矩阵，从而达到了核方法的目的：将特征空间做非线性映 射，用线性方法在映射后的空间中找到数据的模式。通过示例可以发现，核方法的物理意义其实是 将数据点映射到一个特定的空间，在特定的空间里，构建数据点对间的关系矩阵，依赖关系矩阵， 发现数据的模式。由于映射关系可以是非线性的，甚至可以映射到一个无穷维的空间中去，所以核 方法在理论上可以解决任何问题。在核方法中，原始信息不再被使用，Gram 矩阵会包含所有的有 效信息，因此核方法的关键是选取一个合适的kernel，构建Gram 矩阵。一般化的，Gram 矩阵的 构建过程中也可以不对特征空间做显式的特征映射，这样将极大的增加 kernel 的可选择性，进而 优化对问题的求解。那么，在基本了解核方法的目的、过程和物理意义后，接下来需要进一步的开 始明确核方法中的关键概念kernel 。到底什么是kernel ？又该怎样构造一个kernel 呢？ 2 名词辨析：kernel 在机器学习中，kernel 一词常会在不同的场景下出现，因而在正式介绍核方法中的kernel 概念 前，简要明确kernel 一词在各个场景下的不同涵义。 • Kernel density estimation/Kernel smoother：这两个场景下的“kernel” 的概念基本相似，指 的是数据点对通过核函数（kernel function ）产生映射的这种映射形式。目标是非参化的估计 概率密度函数（kernel density estimation ）或实值函数 。方法是将数据点做 段切分， 在每段切分的区间中，计算所有的数据点和分段中心点在核函数作用下做变换。例如，最常 见的方法是采用Gaussian Kernel，x x expx x 。这类估计方法可以有效 的将不规则的数据点用一条（分段）平滑的曲线进行拟合。（见图1） • Kernel 在 CNN 中：在卷积神经网络中，“kernel” 指 的映射方式。目标是利用 kernel 构建图像某一区域的像素矩阵的抽象。这种映射的计算方式和将要阐述的kernel 形似 但不具有相关性质，为了避免产生不必要的误会，不再做展开。（见图2 ） 1 • Kernel 在核方法中：这里的 “kernel” 指的是核函数 x z 的映射形式（核函数是具体的函 数形式，kernel 指的是一类方式）。目标将原特征空间映射到高维空间中去，使得在高维空间 中可以用线性函数发现数据的模式。其性质将在本章内容中详细阐述。 • Reproducting kernel 在Reproducing Kernel Hilbert Space(RKHS)：（话外音：好吧，这个名 词洒家已经木有办法翻译成中文了……）这里的 “reproducing kernel” 有些特殊，在于这种 kernel 满足 reproducing property，即 x ⟨ x ⟩ ，其中x 。（这里用到 了泛函的知识，具体可以先不做了解。）若令ϕx x ，则reproducing kernel 可以用于核 方法。 Figure 1: Kernel density estimation/Kernel Figure 2: Kernel 在 CNN 中的作用方式 smoother 示例 3 希尔伯特空间（Hilbert spaces） 希尔伯特空间 定义了（向量）内积空间（inner product space ），它是构造kernel 的关键基 础。从数学定义上着手理解希尔伯特空间的确