两种求解非正定核Laplace-SVR的SMO算法.pdfVIP

第 卷 第 期 控 制 与 决 策 年月. . .口 文章编号:?? ? 两种求解非正定核 ?的算法 周晓剑,马义中 南京理工大学 管理科学与工程系,南京 摘 要:提出 种用于求解非正定核的序列最小最优化 算法.第 种算法仅针对 ? 而设计;第 种算法将 ?作为所要解决问题的一种特殊情况,使算法更具通用性.所提出的算法在保证收 敛的前提下,使非正定 ?能够达到比较理想的回归精度,具有一定的理论意义和实用价值. 关键词:非正定核;序列最小最优化算法;支持向量回归机 中图分类号: 文献标识码: ?,? , ,, . : , ?:. .: ? ?. ,? . ? ,. :? ;; 并不能保证为正定核函数,如神经网络中的 引 言核在某些条件下就是非正定的,这样现有 当采用支持向量机 解决实际分类或回 的算法的应用便受到了限制.文献提出的 归问题时,棘手之处在于如何提高计算效率.针对这 一 用于解决非正定核的优化问题的方法,可以保 问题,文献 提出了专用算法??选块算法.但 持的泛化性能.然而有关非正定核的求 是,随着算法迭代次数的增多,计算速度变得十分缓 解方法,目前尚未见重要的研究成果公开发表.本文 慢.针对选块算法存在的不足,文献提出了适用 将文献的思想引入 ?模型求解,以 于 的“分解”算 解决非正定核 ?求解问题. 法,并由文献将其扩展到支持向量回归机.“分解”算法有效地克服了选块算法的不足. 的算法的两种基本 序列最小最优化 算法是分解算法中工 形式 作集的元素个数为 的一种特殊情形.现有的 .模型 算法分为求解的算法和求解的 给定数据集 ,,?, ,,及核矩阵 ,一,,若损失函数取 函数 算法.求解 的算法最早出现在文 献中,同年由 等 将其扩展到求解.厂 一 一 , 一 , 则构成?,其模型如下: 以上这两类求解大型支持向量机的算法都假定支持向量机的核函数是正定的且满足 条 , 一÷:. 件.但是,在某些特定的应用领域,所使用的核函数 收稿日期: ? ? ;修回日期: ? ? . 基金项目:国家自然科学基金项目 ;国家自然科学基金国际交流项目 ;国家自然科学基 金重点项目 . 作者简介:周晓剑 一 ,男,江西吉安人,博士生,从事人工神经网络、智能质量控制的研究;马义中 一 , 男,河南泌阳人,教授,博士生导师,从事质量工程、质量管理等研究. 控 制 与 决 策 第 卷 ..一 ≤ 女≤ , ∈ , ; .. ~ ≤ ;一 , ≤ , ? ,?, ;:一∑ 一常数. , ≥ . . 第 种 的模型 简称模 该模型的对偶模型为 型 口, 一 同理,可将式 写成如下模型: , 铂 ∑口一 ,. .. ≤ , ≤ , 一 ,?, ; . ∑一 一. .. ≤口 ≤ , ∈ , ; , 下面对上述对偶问题采用两种方式进行处理: 占 占,一一∑占 一常数. , 第 种处理方式如下:采取等量代换,令 一 一 工作集的选取及停机准则的设定,则式可写成 工作集的选取是算法中最为重要的环节 ∑ , ~∑ . 之一,工作集选取得好坏将直接影响算法的收敛速 度.对于模型 ,可采取直接方式进行选取,具体过 ..一 ≤口,≤ ,,?, ; 程见 . 节.但是,对于模型 ,则需要进行展开,若 ∑ 一. 不这样做,而直接采用文献的方法,势必要同时 考虑 个变量,即 ,, ,及 , ,从而不可避免地需 再将上述模型写成如下矩阵的形式: 要进行大量繁琐的判断,以确定可行域在哪个象限. 一 . 本文对文献中变量的判断方式进行改进,只需 ..一 ≤口 ≤ , : ,?,; 选择 个变量即可. 停机准则从不同的角度一般可为分 种,具体 ∑ 一. 内容可参见文献,本文则通过观察 第 种处理方式如下:将式展开,则式? ? 条件的违背程度来判断是 可写成如下矩阵的形式: 否可以停机.下面分别给出模型 和模型 中工作 集的选取步骤以及停机准则的推导过程.一 蕊 菇. . 模型 工作集的选取及停机准则 .。 ≤ ,≤ , 一 ,?, ; 令 一 . 叫 一 . 其中 其中: 一声 ,, 一 ,.弓入 函数 歹一;, 一:, 一 一一? 一, 一.叫叫 一∑ 一∑ 是 的单位向量. 下面基于式和,给出相应的两种 ∑ 一∑ ,,?的模型. 则 . 第 种的模型 简称模一训 一 一 一 , 型口 ’ 通过简单推导,易将式写成如下模型: ,?, . 对于式 ,可分为以下 种互不相交的情形加以 『: . 一考虑: 一一 ,则 ㈣ “ 一 , ≥ ,叫 一 ≥ ,第 期 周晓剑等:两种求解非正定核 ?的算法 且口