slt与svm的主要内容（续） 结构风险最小化 - read.pptVIP

主要内容 Kernel trick Kernel-based methods Kernel chemometric Kernel PCA, Kernel PCR Kernel PLS Kernel Fisher Discriminant Support vector machines Support vector classification machines Support vector regression machines Applications 研究背景 人类具有通过事例学习能力，并能举一反三。因此，希望在对机器智能的研究中，也希望它具有该能力。 传统方法及其局限性 统计学在解决机器学习的问题中取基础作用 传统统计学研究的主要是渐近理论，即当样本趋向无穷多时的统计性质 Vapnik等人系统地研究了有限样本情况下的机器学习问题，建立了统计学习理论（SLT）的基本体系。 SVM 在应用研究中展示了良好的性能 由于工业过程的复杂性，（多变量、非线性、时变、分布参数、信息不完全、信息冗余等）。基于过程机理的方法在应用研究中遇到困难。 过程控制借鉴了机器学习中的理论与方法，如ANN。取得了较丰富的成果。 ANN的困境 缺乏坚实的理论基础 解决复杂问题表现出的局限性 过学习 局部最小点 模型结构何参数确定依赖于经验 对样本容量与分布特性要求 SLT与SVM SLT系统地研究了小样本情况下的机器学习问题。理论扎实 SVM是基于SLT的通用机器学习方法 SVM方法又促进了核函数方法的应用研究 SVM与BPNN的比较，有一系列优点 现有的研究表明，SVM在模式识别等领域的应用研究中，对于一些Benchmark问题，结果优于ANN方法。 SVM的特点，十分有利于处理过程控制中的复杂特性。 过程控制中广泛存在多变量问题，数据量大，信息冗余。线性多元特征提取方法应用较多。如基于PCA的过程状态监测与故障诊断。但很难提取非线性特性。 回归方法，如PCR,PLS等在过程建模上应用较多。它们本质上仍然属于线性方法。 用核函数方法改造传统线性Chemometric方法受到广泛重视。 Kernel trick 常用核函数 SLT与SVM的主要内容 统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个方面 经验风险最小化准则下统计学习一致性的条件 在这些条件下关于统计学习方法推广性的界的结论 在这些界的基础上建立的小样本归纳推理准则 实现新的准则的实际方法(算法) SLT与SVM的主要内容（续） VC维 为了研究学习过程一致收敛的速度和推广性，SLT定义了一系列有关函数集学习性能的指标 ，VC维是最重要的。 定义：对一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的 种形式分开，则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。 VC维反映了函数集的学习能力，VC维越大则学习机器越复杂(容量越大) 目前尚没有通用的关于任意函数集VC维计算的理论 SLT与SVM的主要内容（续） 推广性的界 SLT系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即推广性的界。对于两类分类问题，根据统计学习理论，对指示函数集中的所有函数（包括使经验风险最小的函数），经验风险 和实际风险 之间以至少1－η的概率满足以下关系： 这一结论从理论上说明了学习机器的实际风险由两部分组成：一是经验风险（训练误差），另一部分称作置信范围，它和学习机器的VC维及训练样本数有关 SLT与SVM的主要内容（续） 在有限训练样本条件下，分类模型的VC维越高（复杂性越高）则置信范围越大，导致真实风险与经验风险之间可能的差别越大，这就是出现过学习的原因。 机器学习过程不但要使经验风险最小，还要使VC维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性 。 SLT与SVM的主要内容（续） 结构风险最小化 SLT与SVM的主要内容（续） 实现SRM原则可以有两种思路 在每个函数子集中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子集 。当子集数目很大甚至是无穷时不可行 设计函数集的某种结构使每个子集中都能取得最小的经验风险（如使训练误差为0），然后只需选择选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数 。SVM即采用这种思路 传统方法，如ANN，选择模型和算法的过程即为调整置信范围。当确定后，再最小化经验风险。可惜上述选择和调整无理论指导，依赖设计者经验。 SLT与SVM的主要内容（续） SVM方法是从线性可分情况下的最优分类面提出的 所谓最优分类面，就是这样的分类超