多核学习方法在分类问题中的应用研究-模式识别与智能系统专业论文.docxVIP

兰州交通 兰州交通大学硕士学位论文 多核学习 多核学习方法在分类问题中的应用研究 万方数据 万方数据 万方数据 万方数据 摘 要 核学习方法在模式识别领域中被广泛应用。现有的单核学习方法在推广能力、迭代 时间和鲁棒性等方面不够理想，多核 SVM(Support vector machine,支持向量机)作为单核 SVM 的延伸与发展，具有更好的推广能力和更好的鲁棒性。 在分析了多核 SVM 理论的基础上，研究了多核 SVM 的 SILP(Semi-Infinite Linear Pr- ogram,半无限线性规划)算法，包括基于 CG(Column Generation,列生成)的 SILP 改进算法 和基于 CA(Chunking Algorithm,块算法)的 SILP 改进算法，将其应用于二分类问题和多 分类问题的基准数据集中，进一步将其应用于实际分类问题中，包括手写体数字识别问 题的 USPS(United States Postal Service,美国邮政署)数据集和 MNIST(Modified National Institute of Standards and Technology,国家标准与技术研究院重建)数据集以及生物医电 问题的 ECG(Electrocardiogram,心电图)和 EEG(Electroencephalogram,脑电图)，以验证两 种基于 SILP 改进算法的有效性。本文主要研究内容包括如下几个方面： (1) 在分析了单核 SVM 理论的基础上，进一步研究了多核 SVM 以及其基于 CG 的 SILP 改进算法和基于 CA 的 SILP 改进算法。结合交叉验证法，以两种多核函数为例， 将基于多核函数的两种 SILP 改进算法分别应用于二分类基准数据集和多分类基准数据 集的分类问题中，并且将实验结果与其他经典 SVM 和 LS-SVM(Least Squares Support Vector Machines,最小二乘支持向量机)的分类结果进行比较分析。最后以分类精度、 ROC(Receiver Operating Characteristic,受试者工作特征)曲线、AUC(Area Under roc Cur- ve,ROC 曲线面积值)和运行时间四个分类指标进行各种分类器分类性能的对比分析。实 验结果表明，基于 CA 的 SILP 改进算法可以得到更高的分类精度和更快的训练速度。 (2) 以手写体数字识别中的实际分类问题为应用背景，结合两种 SILP 改进算法分别 对手写体数字识别经典数据集 USPS 以及 MNIST 进行分类研究。结果表明，基于多核 函数的两种 SILP 改进算法具有良好的分类性能和泛化性能，能够有效的处理实际分类 问题中的大尺度多分类问题。 (3) 针对生物医电领域中的实际分类问题，结合两种 SILP 改进算法分别对 ECG 信 号识别问题以及 EEG 信号识别问题进行分类研究。结果表明，基于多核函数的两种 SILP 改进算法具有良好的分类性能和泛化性能，能够有效的处理实际应用中的分类问题。 关键词：多核 SVM；半无限线性规划；列生成；块算法；多分类 论文类型：应用基础研究 - I - Abstract Kernel learning methods is widely used in the field of pattern recognition. There are some disadvantages in traditional kernel methods, such as poor generalization ability, long iteration time, and poor robustness. Multiple kernel support vector machine (SVM) as an extension and development of single kernel SVM has a better generalization capability and better robustness. Based on the analysis of the basic theory of multiple kernel SVM, this thesis focuses on the multiple kernel SVM algorithm based on semi-infinite linear program (SILP), including SILP based on column generation (CG) and SILP based on chunking algorithm (CA).