人工智能之支持向量机.pptVIP

* * Non-linear Classification The transformation many times is made to an infinite dimensional space, usually a function space. Example: x ? cos(uTx) * * Non-linear SVMs Transform x ? ?(x) The linear algorithm depends only on xxi, hence transformed algorithm depends only on ?(x)?(xi) Use kernel function K(xi,xj) such that K(xi,xj)= ?(x)?(xi) * * 设训练集 ，其中 假定可以用 平面上的二次曲线来分划： 现考虑把2维空间 映射到6维空间的变换 上式可将2维空间上二次曲线映射为6维空间上的一个超平面： 非线性分类 * * 可见，只要利用变换，把 所在的2维空间的两类输入点映射到 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面： 最后得出原空间中的二次曲线： 怎样求6维空间中的分划超平面？(线性支持向量分类机) 非线性分类 * * 需要求解的最优化问题 其中 非线性分类 * * 在求得最优化问题的解 后，得到分划超平面 其中 最后得到决策函数 或 线性分划－非线性分划代价：2维空间内积－6维空间内积 非线性分类 * * 为此，引进函数 有 比较(2)和(3)，可以发现 这是一个重要的等式，提示6维空间中的内积 可以通过计算 中2维空间中的内积 得到。 非线性分类 * * 实现非线性分类的思想 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换 如果想用其它的非线性分划办法，则可以考虑选择其它形式 的函数 ，一旦选定了函数，就可以求解最优化问题 得 ，而决策函数 * * 决策函数 其中 实现非线性分类的思想 * * 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 核函数的选择 SVM算法实现软件 LIBSVM：台湾大学林智仁教授等开发，有各种版本，应用很广泛 LS-SVMLAB：Matlab界面，分类、回归都可 OSU_SVM：用于分类，可以实现多分类 SVM toolbox: Matlab界面，代码简单，适合初学者了解原理，但算法效率较低 * 有关SVM的网站 .tw/~cjlin/libsvm www.esat.kuleuven.ac.be/sista/lssvmlab /Top/Computers/Artificial_Intelligence/Support_Vector_Machines * SVM预测模型的建立 核函数的选择 在实验中选取RBF函数作为核函数的首选，原因： 1.RBF函数可以将样本非线性地规划到更高维的空间中，从而实现非线形影射。Sigmoid核函数取某些特定参数时性能和RBF相同。 2.RBF函数的参数只有一个。相比之下多项式核函数参数比RBF核函数多，因此其模型选择更为复杂。 3.RBF函数的数值限制条件少。RBF函数使数值被限制在0和1之间，而多项式核函数的值可能会趋于不定值 或零值 且幂值更高；Sigmoid核函数在取某些参数值时则可能无效。 * SVM预测模型的建立（续） C和r和选取（以分类为例） 选定一组C,r的范围 和 ,然后将它们的准确率用等高线连接起来绘出类似下图。 * 用SVM实现煤炭需求量的预测 任务：用1980-2002年的我国煤炭需求量来预测2003-2006年的煤炭需求量 将历年的煤炭消费量X(t)看作时间序列，则其预测模型可以描述为 其中为Φ非线形函数，p为嵌入维数， 根据上式,可以得到输入样本和输出样本,这里用1999-2002年的数据作为检验样本, 分别用SVM和神经网络预测，结果