svdd算法详解.docVIP

4.3.3实现技术 （1）KKT条件，工作集选取及停止准则 在求最小包围球的过程中，迭代没有结束前，每轮迭代会有一个新点被选中，核集中加入新的点后，在核集中的点是下面三种情况之一： 1.核向量，满足KKT条件； 2.处在球内的非核向量，对应的为0，也满足KKT条件； 3.在外面。刚加入进来的点违反KKT条件。 加入新的训练点后，参照传统SVM方法对核集中的样本点检查是否违反KKT条件的算法推导如下： 原始问题的KKT条件： （4.16） 加上已知条件 ， 根据的不同，有三种情况： ，有，又，则，因此有 （4.17） ，有，又，则，因此有 （4.18） ，有，又，则，因此有 （4.19） 每次迭代以对KKT条件破坏最多的两个样本为工作集，因此，选取以下两个样本下标 若记 ， 则根据KKT条件，我们有。实际中我们考虑，因此在算法停止前，都有 （4.20） 在运算的过程中因为有 所以实际上是： （2）规模为2问题的解析解 找出核集中违反KKT条件的训练点后，更新其对应的Lagrange因子值。这里我们依然采用SMO算法，解规模为2的原问题的对偶问题。 不失一般性，在（4.14）对偶问题中将看成待求变量，其他看成已知参数，得到求解的优化问题如下： （4.21） S.t. , 其中， 若记 则 ， 因为 令， 可得 （4.22） 有 ，在迭代结束前都有 则当，,为线性函数，因为，，所以。 最后，由优化问题的等式约束得出 （4.23） 这样就得出了的解析解，不过这是在没有考虑优化问题的不等式约束的情况下得到的解析解。 存在不等式约束为，因此，考虑不等式约束，需要对求出的进行如下裁剪： 若，则 若，则 若，则 若，则