正则化路径上地支持向量机模型组合.pdf

中文摘要 模型组合旨在融合并利用假设空间中的多个模型，提髙学习系统的可靠性 和泛化性 . 目前，基模型产生通常基于训练样本集采样，实现过程比较复杂；模 型组合一般利用全模型集合，确定参与组合的模型时未考虑新数据的分布；理 论研究方面，缺乏模型组合一致性的工作. 针对这些问题，研究基于正则化路径的支持向量机 （Support Vector Ma­ chines ，SVM )模型组合，证明正则化路径上SVM模型组合一致性，设计有效的 SVM模型组合算法 . 主要研究内容包括： 1 .应用正定矩阵 Cholesky分解方法，分别提出二分类 SVM 正则化路径算 法 PDSVCPath和回归 SVM 正则化路径算法PDSVRPath .基于正定矩阵的 SVM 正则化路径算法可有效解决训练样本集中包含重复数据、近似数据 或线性相关数据的问题. 2 .给出 SVM模型组合一致性充分条件，证明正则化路径上二分类SVM模型 组合的 I a-风 险一致性及 回归SVM 模型组合的 Le-风险一致性，奠定正则 化路径上的 SVM 组合方法的理论基础. 3 . 设计基于正则化路径的三步式SVM 贝叶斯组合. 首先 ，基 于SVM 正则化 路径分段线性性 质构建初始模型集；然后，应用模型集修剪策略获得候 选模型集，修剪策略包括通用于二分类SVM 和回归 SVM 的 Occam窗口 方法、适用于二分类SVM 的平 均 GACV准 则和适用于回归SVM 的平均 GCV准则；最后， 据新输入 由最小近邻法确定最终组合模型集，并实现 贝叶斯组合预测. 基于正则化路径的三步式SVM 贝叶斯组合基础扎实，易于实现，具有更好 的计算效率和预测性能. 关键词 ：模型组合，正则化路径，支持向量机，一致性，贝叶斯组合 ABSTRACT Model combination aims at improving the generalization performance and relia­ bilities of learning systems. In previous model combination practices, base models of model combination are obtained by using data sampling methods, which is computa­ tionally complex; combination is performed on all available models without consider­ ing the new input; little attention has been paid to the theoretical proof of consistencies of model combination. To address these issues, we explore the model combination of support vector ma­ chine (SVM) on regularization path. We prove the consistency of model combination of SVM and propose a effective method for model combination of SVM. The main contributions of this dissertation are shown as following: 1. We improve the regularization path algorithms for support vector classification (SVC) and support vector regression (SVR) using positive definite matrix. By applying the Cholesky decomposition of positive definite matrix, the improved algorithms can handle data set having duplicate po