基于不同的损失函数SVM的优化形式[精选].docVIP

第三次作业 针对不同的损失 函数SVM的优化形式 姓 名：侯艳巧 班 级：研2—118 学 号：1102121349 学 院：电子工程学院 导 师：吴建设 电 话 损失函数 在模式分类的决策中,使错误率达到最小是重要的。但在实际问题中，如诊断、癌细胞识别等，有时需要考虑一个比误判率更为广泛的概念——风险。例如，对于故障诊断，如果把正常状态诊断为故障状态，就可能会进行一些不必要的维修，造成一定的损失；而如果把真正的故障状态诊断为正常状态，则会延误维修工作，可能会造成设备的损坏，带来更大的甚至不可挽回的损失。显然，后者的损失比前者要大得多。因此，在进行故障诊断、癌细胞识别等问题的研究时，就应该考虑到这一点。 传统的最小风险Bayes故障决策就是把各种分类错误而引起的损失考虑进去的决策规则。在将SVM应用到这些问题时也应该将这些因素考虑进去。 SVR 损失函数 1). (不敏感损失函数 ε-支持向量回归机——ε-SVR算法 (1)设已知训练集，其中 。 (2)选择适当的正数ε和C；选择适当的核。 (3)构造最优化问题 s.t. (4)求得支持向量。根据KKT条常，有成立，也就是只有支持向量对应的拉格朗日乘子不等于零。因此，可以只采用训练样本中的少数支持向量就可以实现函数估计。 (5)选取不同的核函数作为内积的回旋，实现输入空间中不同类型的线性决策面的学习机器。 对于非线性回归问题，可以通过非线性变换将输入向量影像到高维特征空间，转化为类似的线性回归问题加以解决，为了避免高维特征空间中的“维数灾难问题”，采用Hilbert空间中内积的回旋形式，用输入空间的—个核函数等效高维特征空间的内积形式。 (6)构造决策函数 其中按下列方式计算，选择位于开区(0,C/l)中的或，若是选到的是，则。若选到的是，则 。 综上所述，采用支持向量机解决回归函数估计问题，必须首先确定3个自由参数：ε不敏感值和正则化参数C以及核参数(多项式核的阶、径向基核的宽度参数、样条生成核的样条阶数，等等)，然后采用上述支持向量回归估计算法进行回归估计。通过控制C和ε两个参数，可以控制支持向量机的推广能力。 ε--支持向量回归机中的稀疏性 定理1 设是最优化问题的解，则 (1)若，则相应的样本点一定在ε-带的内部或边界上。 (2)若，或，则相应的样本点一定在ε--带的边界上。 (3)或，则相应的样本点一定在定在ε-带的外部或边界上。 推论 (1)若样本点在ε-带的内部，则。 从(1)中可以看出，所有在ε-带内部的样本点都对应，即它们都不是支持向量。显然，它们对决策函数没有贡献。换句话说，去掉这些样本点，不会对最终的决策函数造成影响。反过来说，只有那些对应于的样本点，才会影响决策函数。这一事实所体现的稀疏性将有可能简化我们的计算。显然，这个优点与所采用ε的不敏感损失函数密切相关。 2). Huber 损失函数 Huber-SVR的参数与高斯输入噪声间的近似线性关系 Huber-SVR 当SVR中的损失函数取Huber函数时，构成Huber-SVR。其模型如下: (1) 将Huber函数 代入上述约束条件，则上述模型可以进一步化为如下的二次规划问题： 其中K(.,.)是核函数。在求出上式中的参数α后，即可求得回归函数f(x)。 Huber-SVR的贝叶斯框架 在参数估计中，贝叶斯方法是一种把待估计参数看作具有某一已知分布的随机变量，从而进行参数估计的、将先验信息数学形式化的方法。通常称这一已知分布为先验分布。由于利用了先验信息，则当先验信息与实际情形比较一致时，贝叶斯估计要优于极大似然估计。当将这一思想应用于SVR时，就有了SVR的贝叶斯框架，由此可以推导出SVR损失函数的参数与输入样本噪声之间的关系。下面对此作简要介绍。 对于给定的样本集 考虑用 进行回归时的权参数估计问题。其中，服从分布P(·)，服从分布Φ(·)。对应于y的密度函数记为p(y/x)=。为简化问题，假定所有的具有0均值。 求解上述问题的Huber-SVR贝叶斯框架要点如下： (1)Huber损失函数导致以下的对应于Y的概率密度函数： (3) 其中，μ是Huber损失函数的参数，β是用于控制噪声水平的参数，是归一化系数。则 (4) (2)权参数ω的先验分布为 (5) 其中，α为某一常数。 (3)权参数叫的后验分布为 则 +常数 (6) 于是，估计权参数的问题就