现代机器学习理论大作业.pdfVIP

现代机器学习理论大作业 题目：葡萄酒的种类识别 基于支持向量机（ SVM ）的数据分类预测 学院： 姓名： 学号： 1 《现代机器学习理论》葡萄酒的种类识别 基于支持向量机（ SVM ）的数据分类预测 一、 理论知识 1、支持向量机（ SVM ）简介 支持向量机（ SVM ）是 Vapnik 等人根据统计学习理论提出的一种学习方法，近年来在 模式识别、回归分析、图像处理和数据挖掘等方面得到了广泛应用。支持向量机方法根据 Vapnik 的结构风险最小化原则，尽量提高学习机的泛化能力，即由有限训练样本得到的决 策规则， 对独立的测试集仍能够得到小的误差。 此外， 支持向量机算法是一个凸二次优化问 题，能够保证找到的极值解就是全局最优解。 这些特点使支持向量机成为一种优秀的学习算 法。 目前在国外， SVM 是一个研究的热门，并目已经取得了一些成果。这一点可以从近几 年国外发表的学术论文看出， IEEE Transactions on Neural Networks 也已经出版了关于 VC 理 论和 SVM 方面的专集。 自从 90 年代初经典 SVM 的提出， 由于其完整的理论框架和在实际 应用中取得的很多好的效果， 在机器学习领域受到了广泛的重视。 其理论和应用在横向和纵 向上都有了发展。 目前对 SVM 的理论研究与进展主要包括：模糊支持向量机；最小二乘支持向量机；加 权支持向量机； 主动学习的支持向量机等。而对算法的改进主要内容有：降低计算量； 自适 应算法的研究； 噪声数据处理； 核函数的构造和参数的选择理论研究； 主动学习策略的应用； 增量学习等。 虽然 SVM 方法在理论上具有很突出的优势，但与其理论研究相比，应用研究相对比较 落后。最近几年，应用研究才逐渐地多起来。在模式识别领域，包括手写体数字识别、人脸 检测、语音识别、目标识别、文本分类等方面，取得了一定的成果。此外，支持向量机具有 调节参数少，运算速度快，时间代价小的优点，随着支持向量机理论研究的逐步深入， 支持 向量机在模式识别、 回归估计、 概率密度函数估计等问题上的研究也逐步深入， 必将成为各 国研究者的研究热点。 2、支持向量机（ SVM ）原理 2 支持向量机 (Support Vector Machine ，简称 SVM) 是建立在统计学习理论的 VC 维理论和 结构风险最小原理的基础上发展起来的一种机器学习方法。 支持向量机集成了最大间隔超平 面、 Mercer 核、凸二次规划、稀疏解和松弛变量等多项技术。支持向量机的学习目标就是 构造一个决策函数，能够将数据点尽可能多的正确分开。 2.1 线性可分问题 在很多现实情况下， 训练样本数据具有噪声， 特征空间一般不能线性分开， 不可能建立 一个不具有分类误差的分类超平面。 如下图所示， 希望找到一个最优超平面， 对整个训练集 合平均的分类误差的概率达到最小。 图 1.2.1 线性不可分示意图 我们在原有基础上引入了松弛变量