国赛培训机器学习机lssvm.ppt

* 通过事先选择的非线性映射函数将输入向量映射到高维特征空间，在这个空间中构造最优决策函数。在构造最优决策函数时，满足结构风险最小化原则，并巧妙地利用原空间的核函数取代了高维特征空间中的点积运算。 二、LSSVM概述 * 二、LSSVM概述 机器学习机LSSVM 电气学院 2018年8月 安徽工程大学 * 一、机器学习机 二、LSSVM概述 三、PSO 优化 LSSVM概述 * Langley（1996) 定义的机器学习是“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 一、机器学习机 * 机器学习就是计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善。机器学习的研究就是如何使机器通过识别和利用现有知识来获取新知识和新技能。作为人工智能的一个重要的研究领域，机器学习的研究工作围绕学习机理、学习方法、面向任务这三个基本方面的研究。 一、机器学习机 * 为了使计算机系统具有某种程度的学习能力，使它能通过学习增长知识，改善性能，提高智能水平，需要为它建立相应的学习系统。一个学习系统必须具有适当的学习环境，一定的学习能力，并能应用学到的知识求解问题，其目的是能提高系统的性能。一个学习系统一般应该由环境、学习、知识库、执行与评价四个基本部分组成。 一、机器学习机 * 机器学习机结构 一、机器学习机 * 为了支持向量机类预测方法包括支持向量机（SVM)和最小二乘支持向量机（LSSVM)支持向量机是在统计学习理论基础上提出的一种新机器学习方法。它是在结构风险最小化原理和VC维理论的基础上用有限的样本信息在模型的复杂程度与模型的学习能力找到最好的折衷方法。 二、LSSVM概述 * 从广义上来讲支持向量机(SVM)也是属于神经网络的范畴内，但是支持向量机在对电力系统进行负荷预测的时候是由结构风险最小化的方式来进行评估的，这样可以使风险大大降低的同时使预测模型的推广能力大大提升 二、LSSVM概述 * 在非线性回归中使用支持向量机这种方法是非常现代化和有效的，它明显的提高了电力系统短期负荷预测的准确性。 二、LSSVM概述 * 支持向量机的优点：支持向量机在进行建模的时候运用了核函数的方法代替了内积计算，它的计算和样本的维数没有任何的关系，解决了神经网络的维数难题，计算难度得到降低。 支持向量机的缺点：它的预测结果对训练集样本和模型的参数依赖过大，容易产生误差。 二、LSSVM概述 * Suykens J.A.K提出一种新型支持向量机方法——最小二乘支持向量机（Least Squares Support Vector Machines, 简称LSSVM）用于解决模式分类和函数估计问题等。最小二乘支持向量机方法是采用最小二乘线性系统作为损失函数，代替传统的支持向量机采用的二次规划方法。 二、LSSVM概述 * LSSVM方法简化了计算的复杂性。另外，由于LSSVM采用了最小二乘法，因此，运算速度明显快于支持向量机的其他版本。 二、LSSVM概述 * 支持向量机就是通过内积函数定义的非线性变换将输入空间变换到高维空间，在这个高维空间中求最优分类。 支持向量机的函数表达式为： 二、LSSVM概述 * VC维对于一个指示函数集来说，如果其生长函数是线性的，则它的VC维为无穷大；而如果它的生长函数以参数为h的对数函数为上界，则函数集的VC维是有限的且等于h。由于VC维是研究人员Vapnik和Chervonenkis在1958年发现的，所以，就取他们两人名字的首字母来来组成了这个名字。 VC 理论 二、LSSVM概述 * 所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维数越高，一个问题越复杂。正是因为SVM关注的是VC维，所以SVM解决问题的时候与样本的维数无关。(甚至样本维数可以达到万维，这使得SVM适合解决回归分类的问题，这种能力也因为引入了核函数)。 二、LSSVM概述 * 核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。 核函数理论 二、LSSVM概述 * 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间