Kernel方法.pptVIP

Kernel方法 PRML第6、7章 不同的方法框架 数据只与模型的训练过程发生联系：例如线性回归、Logistic回归等 训练耗时，测试相对较快 数据参与预测或估计过程：例如核密度估计、最近邻分类等 “训练”简单，测试相对耗时 核函数：度量样本相似性 核函数： 线性核： 注：核函数的引入不仅可发展出新模型，也可扩展已有模型，例如KFLD、KPCA等等 对偶表示 许多回归或分类的线性模型可重形式化为由核函数所支配的对偶表示 例子： 平稳点对应的w为 对偶表示 代入 ，获得 定义 ，这里 获得 对应于平稳点的a为 对偶表示 将上式代入到线性回归模型，预测值为 这里 作业：尝试自行验证上述重形式化过程 对偶表示 比较原形式化的解 与对偶形式化的解 易知两个形式化涉及不同规模的矩阵反转 问题：典型问题设置下，哪个形式化计算开销更小？对偶形式化的优势在哪里？ 构造核 方法1：首先构造 ，再由 获得核函数k(.,,) 方法2：直接定义k(.,,) 注：方法2需要保证所定义的k(.,,)合法 构造核 合法核函数k(.,,)的充要条件：由任意样本集D和k(.,,)所构造的Gram矩阵K半正定 作业：证明上述结果 例子： 构造核 构造核