集成Logistic和SVM的分类算法研究-概率论与数理统计专业论文.docxVIP

重庆大学硕士学位论文中文摘要 重庆大学硕士学位论文 中文摘要 I I 摘 要 分类是数据分析与机器学习领域的基本问题之一，国内外学者对分类算法的 研究已有大量的成果。Logistic 回归模型是一种应用最为广泛的多元量化分析技 术，其特点是稳健性好，模型的可解释性较强。支持向量机（SVM）是由 Vapnik 提出的统计学习理论发展而来，它在处理小样本、非线性以及高维数等问题时具 有一些独特的优势。目前，SVM 已经成为机器学习领域的研究热点。 传统的 Logistic 回归用于二分类的方法一般以 0.5 为分界点，这样可能存在较 大的误判风险，尤其是对于 0.5 附近模糊区间的样本点。针对 logistic 回归处理分 类问题的不足，本文将支持向量机引入到传统的 Logistic 回归分类方法中，利用支 持向量机的输出结果为 Logistic 回归提供支持信念，减少 Logistic 回归中的误判风 险，从而提高分类的正确率。 本文首先概述了 Logistic 回归模型的原理、推导和检验，接着详细介绍了支持 向量机及其相关理论，包括机器学习的基本理论、统计学习理论、SVM 分类算法 以及模型参数的选择等。 然后，在深入分析 Logistic 回归和支持向量机理论的基础上，本文构造了一种 集成 Logistic 回归与支持向量机的二分类算法。实证分析表明，本文提出的集成算 法具有较好的分类效果。 最后，对全文进行了总结，并指出了有待进一步研究的问题。 关键词：Logistic 回归，支持向量机，二分类，集成，算法 重庆大学硕士学位论文英文摘要 重庆大学硕士学位论文 英文摘要 II II ABSTRACT Classification is one of the basic topics in data analysis and machine learning domain. Lots of results have been achieved in this field. Logistic regression model is a widely used technology of multiple quantitative analysis with good robustness and model explicable. Support vector machine, based on statistical learning theory, has shown some special advantages in small sample, nonlinear and high-dimensional problems. Therefore，SVM has become a hotspot in the field of machine learning recently. Traditional Logistic regression methods commonly take 0.5 as demarcation point, which might cause great classification error risk, especially the sample points of fuzzy intervals near 0.5. In order to improve logistic regression, an integrated algorithm with SVM is proposed in the thesis. This algorithm reduces the classification error of logistic regression, applying the output of SVM. In this paper, it first outlines logistic regression, the principle, derivation and model checking. Then, SVM and related theory are introduced in detail, including the basic theory of machine learning, statistical learning theory, SVM classification algorithm and model parameter selection. Based on the theoretical analysis of logistic regression and SVM, an integrated binary-class cl