线性-支持向量回归机的数据扰动分析.docxVIP

线性-支持向量回归机的数据扰动分析 1 问题2-2.5 t分配培训。 先将训练集T中的每个训练点的y值分别增加和减少一个事先给定的正数ε,得到下面的两个集合 其中(*)是表示向量有*号和无*号两种情况的简单记号.例如, 考虑测量及计算误差的影响,问题(2)-(5)中的训练点的某些输入可能只是其真值的某种近似会带有一定的舍入误差.我们考虑这些带有舍入误差的输入在其测量数据附近发生一定的扰动后,新问题解的变化情况,我们将给出数据扰动后问题的解如何依赖于扰动数据,并给出在一定条件下,求解对扰动数据偏导数的表达式,从而建立问题(2)-(5)的灵敏度分析定理.我们还分析了使得该定理满足的条件,给出了当条件不满足时的相应结果.最后,我们通过简单的数值试验验证了定理的有效性. 为以后叙述方便我们对i=1,2,…,l,引入下列记号 在描述向量时,我们引用Matlab里的方式:行向量记为a=(a 2 理论所依据的定理 为建立本文理论我们需要引述一种实用的可计算的非线性规划的灵敏度分析理论 其中f:R 我们通常记问题(6)-(8)的可行集为D,即 在考虑到数据的误差对解的影响后,问题(6)-(8)变为下面的带有参数p的问题,这里参数p在某个集合P上取值. 若对某一点p 现在考虑当p从p 定义2.1 (孤立局部最优解)设点x 现在考虑满足孤立局部最优解的一个充分条件-二阶充分条件. 定义2.2(二阶充分条件)考虑问题(6)-(8),设点x 1)存在u 2)记集合 则对任意的z∈Z,z≠0,有 定理2.3设点x 在有了上述准备工作后,我们给出本文所要建立的理论所依据的主要定理. 定理2.4 (一种实用的可计算的非线性规划的灵敏度分析理论)设点x 1)在(x 2)考虑问题(10)-(12)在p=p 3)向量组 4)严格互补条件成立,即对任意的i∈I, ⅰ) x ⅱ)存在p 其中 此外,Robinson在 定义2.5 (强二阶充分条件)考虑问题(6)-(8),设点x 1)存在u 其中 其中L由式(18)给出. 定理2.6 (不包含严格互补条件的非线性规划的灵敏度分析理论)设点x 1)在(x 2)考虑问题(10)-(12)在p=p 3)向量组 那么有下面的结论成立 ⅰ) x ⅱ)存在p ⅲ)存在正实数γ 3 严格互补条件下的偏导数 设 我们称对应于下标集A,B,C的点分别为A,B,C类点.显然A类点所有约束均为有效约束,B类点的有效约束为g 现在我们建立问题(2)-(5)的灵敏度分析定理.我们知道问题(2)-(5)的最优解依赖于训练数据,假设输入数据p是一组数据参数,p 定理3.1设 证由于 设z 由已知条件知,对于A类点,至少存在一个乘子 综上所述,我们得到当z 有了二阶充分条件,我们就可以建立我们的核心定理了. 定理3.2 (线性ε支持向量回归机原始问题的灵敏度分析定理)设 1)对于A类点,其对应的乘子满足 则有下面的结论成立 ⅰ) ⅱ)存在p ⅲ)解关于对p的偏导数满足 证条件1)使二阶充分条件满足,因此据定理2.4,只需证明严格互补条件成立及有效约束的梯度向量线性无关即可.先证严格互补条件满足. 对于A类点,若由条件 要证有效约束的梯度向量线性无关,需考虑所有起作用约束的线性组合,A,B,C类点的有效约束梯度向量的任何组合方式都可以归纳为 由此可以得到 将式(36)与式(37)带入式(35)中,再经过一定的简化处理后就可以得到下式 又由条件2)知向量组 注意到,在证明有效约束梯度向量线性无关时,只要A类点对应的有效约束的梯度向量是线性相关的,那么所有的有效约束的梯度向量就是线性相关的. 针对上述情况我们给出下面的定理. 定理3.3设 证由于 此时又可以写为 由已知, 用λ乘以式(41)再与式(40)相加得 可以令 定理3.3说明:若A类点对应的有效约束的梯度向量线性相关时,即问题(2)-(5)的解不唯一时,我们可以找到问题(2)-(5)另一组解 观察定理3.2,可以看出条件1)的要求对一般的实例不易满足,因此我们有必要进一步讨论该条件不满足时的情况. 在证明定理3.2的过程中,我们发现条件1)的苛刻是为了满足严格互补条件,而由定理2.6,我们可以得到不包含严格互补条件的结论. 据定义2.5,我们证明下面的定理. 定理3.4设 证仿效定理3.1的证明即可得到该定理的结论成立. 下面我们建立不包含严格互补条件的理论. 定理3.5设 1)对于下标集A,至少存在一个乘子 则有下面的结论成立 ⅰ) ⅱ)存在p ⅲ)存在正实数γ 放弃严格互补条件后的定理3.5的条件1)在实际问题中是容易满足的.然而我们也注意到在该定理的结论中不再能求得解对p的偏导数. 总结定理3.3及3.5可以看出,在实际中我们只需验证严格互补条件是否成立,即可决定是否能使用式(33)来得