第14章+支持向量机.pptVIP

需要求解的最优化问题 其中 在求得最优化问题的解 后，得到分划超平面 其中 最后得到决策函数 或 线性分划－非线性分划代价：2维空间内积－6维空间内积 为此，引进函数 有 比较(2)和(3)，可以发现 这是一个重要的等式，提示6维空间中的内积 可以通过计算 中2维空间中的内积 得到。 实现非线性分类的思想： 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换　　，如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数 ，一旦选定了函数，就可以求解最优化问题 得最优解 　　 ，因而 决策函数 其中 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 14.2.3.2　核函数 非线性SVM的泛化性能和算法的复杂度取决于支持向量的数目，而与特征空间的维数无关。这种非线性SVM的分类函数（SVC）形式上类似于神经网络，其输出层是由若干中间结点组成，每个结点对应于输入样本点与一个SV的内积，因而也被称为支持向量网络(SV Networks)，如下图所示。 支持向量网络示意图 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 14.3支持向量机的实现技术 14.3.1 chunking算法 算法基本思想是：SVM学习过程就是得到支持向量(SV)及其对应的Lagrange乘子，因此建立一个工作集(working set)，通过迭代，启发式的引入SV而将非支持向量排除出去。 通常称训练集T中的任意一个子集为“块”，选块算法的基本思想是，去掉对应于非支持向量的Lagrange乘子=0的那些训练点，而只对支持向量计算相应的Lgarnage的乘子。 通过某种迭代方式逐步排除非支持向量，选出支持向量所对应的“块”。 图14-9　chunking算法流程 14.3.2 Decomposing算法 Decomposing基本思想是将样本数据的序号集{1,2,…,l}分为工作集B和非工作集N，工作集B的大小为q，这样将大规模的二次规划问题转化成只有q个优化变量、2q个线性不等式约束、1个等式约束的小规模二次规划问题。分解算法与选块算法的不同之处在于它每次只更新若干个Lagrange乘子，而其他的乘子保持不变。每次一个新样本点加到工作集中去，就必须舍去另外一个样本点。 迭代过程中只是将工作集之外的样本点中一部分“情况最糟的样本点”与工作集中一部分样本点进行等量交换。即使支持向量的个数超过工作集的大小，也不改变工作集的规模。 数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编　 邓　松　李文敬　刘海涛　编著 电子工业出版社 * 14.1支持向量机基础 14.1.1机器学习的基本问题 14.1.2经验风险最小化问题 14.1.3 VC维与学习一致性理论 14.1.4结构化风险最小化 14.2支持向量机的基本原理 14.2.1线性支持向量机 14.2.2广义线性支持向量机 14.2.3非线性支持向量机 14.2.3.1到高维空间的影射 14.2.3.2核函数 14.3支持向量机的实现技术 14.3.1 chunking算法 14.3.2 Decomposing算法 14.3.3 SMO算法 14.3.5 SMO算法的特点和优势 14.4支持向量回归机 14.4.1不敏感损失函数 14.4.2支持向量回归机模型 14.5支持向量机的改进算法 数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编　 邓　松　李文敬　刘海涛　编著 电子工业出版社 14.1支持向量机基础 支持向量机(support vector machines)是由贝尔实验室研究者Vapnik于20世纪90年代最先提出的一种新的机器学习理论，是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机从诞生至今才10多年，发展史虽短