数据挖掘原理与spssclementine应用宝典支持向量机.ppt

? ? 1 1 1 l 1 i 1 min ( ) ( ) 2 . . 0 0 , 1, l l l i j i j i j j i j j i i i y y x x s t y C i l ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? 需要求解的最优化问题 2 2 1 2 1 2 1 2 ( ) (1 , 2[ ] , 2[ ] , 2[ ] [ ] ,[ ] ,[ ] ) T i i i i i i i x x x x x x x ? ? 2 2 1 2 1 2 1 2 ( ) (1 , 2[ ] , 2[ ] , 2[ ] [ ] ,[ ] ,[ ] ) T j j j j j j j x x x x x x x ? ? 其中 1 1 2 2 1 2 1 2 2 2 2 2 1 1 2 2 ( ( ) ( )) 1 2[ ] [ ] 2[ ] [ ] 2[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] i j i j i j i i j j i j i j x x x x x x x x x x x x x x ? ? ? ? ? ? ? ? ? (2) 在求得最优化问题的解 后，得到分划超平面 * * ( ) 0 w x b ? ? ? 其中 * * * 1 ( , ) T l ? ? ? ? * * * 1 ( ), { | 0 } l i i i j i w y x j j C ? ? ? ? ? ? ? ? ? 最后得到决策函数 * * * 1 ( ) sgn(( ( )) ) ( ) sgn( ( ( ) ( )) ) l i i i i f x w x b f x y x x b ? ? ? ? ? ? ? ? ? ? ? ? 或 * 1 ( ( ) ( )) l j i i i j i b y y x x ? ? ? ? ? ? ? ? 线性分划－ 非线性分划 代价： 2 维空间内积－ 6 维空间内积 为此，引进函数 有 2 1 1 2 2 2 2 2 2 1 1 2 2 1 1 2 2 1 1 2 2 ( , ) (([ ] [ ] [ ] [ ] 1) [ ] [ ] [ ] [ ] 1 2[ ] [ ] [ ] [ ] 2[ ] [ ] 2[ ] [ ] i j i j i j i j i j i j i j i j i j K x x x x x x x x x x x x x x x x x x ? ? ? ? ? ? ? ? ? 比较 (2) 和 (3) ，可以发现 (3) 2 ( ( ) ( )) ( , ) (( ) 1) i j i j i j x x K x x x x ? ? ? ? ? ? ? 这是一个重要的等式，提示 6 维空间中的内积 可以通过计算 中 2 维空间中的内积 得到。 ( ( ) ( )) i j x x ? ? ? ( , ) i j K x x ( ) i j x x ? 2 ) 1 ) (( ) , ( ? ? ? j i j i x x x x K 实现非线性分类的思想： 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换 ，如果想用其它的非线性分划 办法，则可以考虑选择其它形式的函数 ，一旦选定了 函数，就可以求解最优化问题 ( , ) i j K x x ( ) x ? 得最优解 ，因而 2 ) 1 ) (( ) , ( ? ? ? j i j i x x x x K T l i a a a a ) , , , ( 2 1 ? ? ? ? ?? ? ? l i C y t s a x x K y y i l i i i l j j l j i j i j i j i a , , 2 , 1 , 0 0 . ) , ( 2 1 1 1 1 , min ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? * 1 ( ) sgn( ( , )) ) l i i i i f x y K x x b ? ? ? ? ? 决策函数 其中 * * 1 ( , ) { | 0 } l j i i i j j i b y y