基于混合核函数的SVM及其应用.pptVIP

基于混合核函数的SVM及其应用 支持向量机的许多特性是由所选择的核函数来决定的,为了得到性能更为优良的支持向量机,一种改进的方法是把多个核函数组合起来,形成一种混合核函数。 应用: 将混合核函数的SVM算法用于血浆脂蛋白样本与其血浆胆固醇的含量的测定中,并将结果与由其它核函数构造的支持向量机方法进行比较,意在提出一个更合适的核函数来解决函数拟合问题。 用于函数拟合的支持向量机 给定训练数据{ ( xi , yi) , i = 1 ,2 , ?, n} ,其中xi ∈Rd 是第i 个学习样本的输入值,且为一d 维列量 , yi∈ R 为对应的目标值。 对于非线性不可分问题,通过非线性变换 将x 映射到某个特征空间,因而转化成线性可分问题,线性估计函数可定义为: 假设所有训练数据都可以以精度ε无误差地用线性函数拟合,即 则可以通过求下列代数式的最小值来获得最小风险: 常数C 0 , C 表示对超出误差ε的样本的惩罚程度。 采用优化方法可以得到其对偶问题。 构造拉格朗日函数求解式(4) , 可得到支持向量机回归函数为: 其中K( x , xi ) 称为核函数, 将只有小部分不为0 ,它们对应的样本就是支持向量。 核函数 所谓核函数就是存在一非线性变换 , 使K( xi ,xj) = 成立的一类函数。正是核函数的引入使SVM 得以实用化,因为它避免了显示高维空间中向量内积而造成的大量运算。 目前研究最多的核函数主要有3类: 1) 多项式核函数: 2) 径向基核函数(RBF) : 3) Sigmoid 函数: 式(6 ～ 8) 中q ,σ, c 等参数都是实常数。在实际运用中,通常要根据问题的具体情况选择合适的核函数以及相应的参数。 　局部性核函数和全局性核函数 SVM的许多特性都是由所用核函数的类型决定的,其非线性水平是由核函数决定的。在SVM 中,通常所选的核函数必须满足Mercer 条件 。 归结起来,核函数有两种主要类型,即:局部性核函数和全局性核函数。 RBF 函数即式(7) 就是一个典型的局部性核函数 图1为当σ分别取0. 1 ,0. 2 ,0. 3 ,0. 4 ,0. 5 时RBF 函数的曲线图,0. 2 为测试输入,从中可以看出,局部性核函数仅仅在测试点附近小领域内对数据点有影响。 而多项式核函数即式(6) 是一个典型的全局性核函数。 图2 为当q 分别取1 ,2 ,3 ,4 ,5 时多项式核函数的曲线图,这里依然取0. 2 为测试输入,从图中可以看出,全局性核函数允许远离测试输入的数据点对核函数的值也有影响。 　混合核函数 函数 就是混合核函数其中的一种,并且满足Mercer 条件。 为了保证混合核函数具有更好的学习能力和推广性,RBF 核函数即 K( xi , xj) = 中σ2 取值宜在0. 01 ～ 0. 5 之间;对于多项式核函数 , q 值一般取1 或2 。 应用实例 随机取数据样本的三分之一进行训练,测试时使用全部数据样本。 利用回归估计出的血样值样本对应的每种血浆脂蛋白的胆固醇含量与相应的实际含量之间的相关系数R 来反映回归估计性能的优劣,即 其中| R | ≤1 , f ( x) 为回归估计出的血样值样本对应的每种血浆脂蛋白的胆固醇含量, y 为相应的实际含量。 如果存在一种理想的回归估计过程,也就是说回归估计值和相应的实际值恰好完全相同,此时R 的值为1 ,也就是说, R 越接近于1 ,回归估计的精度就越高。 对于混合核函数Kmix = λKpoly+ (1 - λ) Krbf ,λ一般在0. 50 ～ 0. 99 之间,因此实验中取λ = 0. 98 ,取ε = 0. 1 , C = 1000 , 对于核函数RBF , 实验中σ = 0. 01 时不同训练样本训练后进行拟合的R 值最好,而多项式核函数K( x , xi) = [ ( x , xi ) + 1 ] q 中q = 1 。 由于σ= 0. 01 时单个核函数的结果很差,为了更好地体现混合核函数的效果,实