最小二乘超球多类支持向量机分类理论研究.docxVIP

最小二乘超球多类支持向量机分类理论研究 组合svm的多类别算法 在建模中，标准svm是二分类器。 1998年, Vapnik在提出SVM理论的同时, 提出了一类对余类 (one-versus-rest, 1-v-r) 多分类器 在上述多分类器中, 除了[4]以外, 其余均是将标准SVM经过组合得到的, 其学习效率较低, 需要训练多个SVM, 而且每类样本也会参与多个SVM的训练;同时, 1-v-r和1-v-1的推广误差均为无界 为了解决多类别分类问题, 需要摒弃组合SVM的思路, 寻找效率更高的直接型多分类算法。2001年, Xin Dong提出了利用超球体来构建多类分类器, 试图用一次优化的方法, 同时获得关于所有类别的超球, 其计算复杂度较高 Xu在Zhu的基础上, 将这种球结构多分类器命名为超球体多类支持向量机 (Hyper Sphere Multi-Class SVM, HSMC-SVM) , 并提出了HSMC-SVM的训练算法, 其训练速度已经超过了基于libsvm的1-v-r和1-v-1多分类器 为了进一步提高HSMC-SVM的训练速度和分类精度, 运用最小二乘法处理HSMC-SVM的分类误差, 因而形成了一种新的多类分类器, 最小二乘超球多类支持向量机 (Least Square Hyper-Sphere Multi-Class SVM, LSHS-MCSVM) 。 1 lshsvm的基本原理 根据超球多类支持向量机的分类思想, 对于M类分类问题, 将产生M个超球体, 即每个类别产生一个超球体。就某一类而言, 设样本集合为X, X中包含l个n维样本点, 寻找一个超球体 (a, R) , 其中a是球心, R是半径, 使得该球包含X中的样本数量尽可能多, 同时R又尽可能小, 与SVM类似, 允许远离球心的偏远样本点落在球体外面, 引入了松弛变量ξ 其中C0为正则化参数, 控制对错分样本的惩罚程度, 实现对球的大小和所包含的样本数之间的折中。|Φ (x 便于对照, 给出HSMC-SVM的目标函数是: 对 (1) 式取Lagrange函数: 其中, α 将 (4) ~ (5) 代入 (2) 中, 得 (1) 的对偶问题为: 其中k 其中Q=C 定理1 (7) 式为凸二次规划问题。 证明:对于任意α∈R 由于C0, 故Q为半正定矩阵, 则 (7) 为凸二次规划。 由于 (7) 式为凸二次规划, 所得到的局部极小点也是全局最小点。□ 2 优化算法设计 当样本的数量较多时, 同时对α进行优化会受到计算机存储容量的限制, 因此需要使用分解算法, 对α中各个块分别进行优化。2000年, Platt提出求解标准SVM二次规划问题的SMO算法 2.1 rang乘子的优化 根据SMO算法的思想, 对违反KKT条件的Lagrange乘子两两地进行优化, 直到所有的Lagrange乘子均满足KKT条件为止。 设 定理2 其中:η=k 证明:将式 (6) 改写为关于λ 令α 由 则2q 2.2 搜索方向的确定 在LSHS-MCSVM的优化过程中, 每次迭代所更新的 工作集选择可用Zoutendijk可行方向法 将f (αk+d) 在α 下标B表示工作集。Zoutendijk可行方向法确定搜索方向的目标函数为: e为2维单位列向量。 约束条件由下式得到: (b) -1≤d 约束条件 (a) 即是d 欲使 (13) 式最小, 可令d 即分别使?f (αk) 取最大值和最小值的乘子作为工作集 2.3 目标函数收敛 对 (7) 式取Lagrange函数: 故有?f (α) =z I。 z∈R为Lagrange乘子, I为l维单位列向量。 就是说, 当目标函数收敛时, ?f (α) 应趋于一个定值。 故迭代停止条件为?f (αk) 2.4 lshs-mcsvm的优化 由于LSHS-MCSVM使用了等式约束, 由 (5) 式可知, Lagrange乘子失去了稀疏性, 从而使检测时间延长。为了克服这个问题, 增强LSHS-MCSVM的稀疏性, 可在迭代优化前, 给α设置如下的初始值:α 综上所述, LSHS-MCSVM的训练过程如下: step 1初始化 step 2根据 (14) 式确定工作集 step 3利用定理2优化 step 4 k=k+1, 转setp 2; step 5算法收敛, 训练结束。 3 lc-mcsvm的评估规则 对于M类分类问题, 需要构建M个超球体。在训练阶段, 利用上面介绍的方法, 分别训练这M个HS-SVM。 在判决阶段, 对于样本x 4 类似分类结构的对比 HSMC-SVM与LSHS-MCSVM均为基于超球体的多类分类器, 具有类似的分类结构, 但它们也有区别, 主要区别列于表1列出。 正是由于等式约束最优化问题的