四核方法.pptVIP

第三讲 核方法 支持向量机中的核方法 相似性度量与内积 核方法的作用与地位 常用的核函数 从不同的角度看核函数 核函数的构造与选择 支持向量机的核方法 支持向量机的核方法 相似性度量与内积 两点的相似问题 三点相似性问题 核方法的作用与地位 作用 提高样本的线性可分性； 刻画样本的相似性：内积是描述相似性的一个工具，它主要是从角度来刻画样本的相似性。 地位 决定了SVM的非线性处理能力，在SVM中占据着举足轻重的地位，是SVM的热点和难点。 2006年11月27-28日，在比利时的布鲁塞尔召开了“International Workshop on Current Challenges in Kernel Methods (CCKM06)”，国际许多著名学者，如Sch?lkopf, Christmann, Cristianini等都在此次会上发表了主题演讲，提出了核方法面临的挑战和未来的发展方向 常用的核函数 高斯径向基核： 多项式核： B-样条核： 富里叶核： Sigmoid核： 从不同的角度看核函数 从核函数本身的机理出发 核函数看成一个特殊的积分算子(Mercer核的原始定义） 核函数对应一个再生的Hilbert空间(RKHS) 从数据出发：将核函数看成一个矩阵算子 核函数看成积分算子 再生核Hilbert空间(RKHS) 核函数看成矩阵算子 核函数的构造与选择 构造原则—由简单核构造复杂核 一些思路 构造原则—由简单核构造复杂核 一些思路 核矩阵的构造 基核矩阵的选择规则？自己最近的一个工作 核与属性的重要性相联系，例如 核与样本的重要性相联系，例如 基核矩阵的秩空间差异性 学习核矩阵 矩阵的秩空间差异性 选则基核矩阵的规则 半导师问题中的Gram矩阵学习问题 学习核矩阵 矩阵的秩空间差异性(1) 矩阵的秩空间差异性(2) 矩阵的秩差异性(3) 矩阵的秩空间差异性(4) 选则基核矩阵的规则(1) 选则基核矩阵的规则(2) 半导师问题中的Gram矩阵学习问题 模型 算法 实验 结论 半导师问题中的Gram矩阵学习模型(1) 半导师问题中的Gram矩阵学习模型(2) 算法(1) 算法(2) 实验(1) 实验(2) 实验(3) 实验(4) 结论 从Tab.1和Tab.2可以看到，随着基核矩阵的秩空间差异性的提高，不论对人工数据集，还是标准数据集，特征空间中两类样本的间隔都得到了改善，训练集和测试集的分类准确率同时也都得到了提高，这表明，提高基核矩阵的秩空间差异性，能有效地改善核方法的分类性能，用基核矩阵的秩空间差异性大小作为选取基核矩阵的准则，是可行、有效的。 * 对偶模型 这里K(xi,xj)=(Ф(xi),Ф(xj))是样本xi,xj在特征空间中的内积，称为输入空间X上的核函数（正定核）。 结论：常用的相似性度量都可按内积获得 *