[工学]支持向量机.pptVIP

第八章 高级人工智能1/30/2021Chap8SVMZhongzhiShi1史忠植中国科学院计算技术研究所支持向量机SupportVectorMachines

内容提要1/30/2021Chap8SVMZhongzhiShi2统计学习方法概述统计学习问题学习过程的泛化能力支持向量机SVM寻优算法应用

统计学习方法概述1/30/2021Chap8SVMZhongzhiShi3统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。科学规律性的东西一般总是隐藏得比较深,最初总是从其数量表现上通过统计分析看出一些线索,然后提出一定的假说或学说,作进一步深入的理论研究。当理论研究提出一定的结论时,往往还需要在实践中加以验证。就是说,观测一些自然现象或专门安排的实验所得资料,是否与理论相符、在多大的程度上相符、偏离可能是朝哪个方向等等问题,都需要用统计分析的方法处理。

统计学习方法概述1/30/2021Chap8SVMZhongzhiShi4近百年来，统计学得到极大的发展。我们可用下面的框架粗略地刻划统计学发展的过程:190019401940-1960数据描述统计模型的曙光数理统计时代随机模型假设的挑战松弛结构模型假设1990-1999 建模复杂的数据结构

统计学习方法概述1/30/2021Chap8SVMZhongzhiShi5从1960年至1980年间，统计学领域出现了一场革命要从观测数据对依赖关系进行估计，只要知道未知依赖关系所属的函数集的某些一般的性质就足够了引导这一革命的是60年代的四项发现: Tikhonov,Ivanov和Philips发现的关于解决不适问题的正则化原则； Parzen,Rosenblatt 和Chentsov发现的非参数统学； Vapnik和Chervonenkis发现的在泛函数空间的大定律，以及它与学习过程的关系； Kolmogorov,Solomonoff 和Chaitin发现的算法复杂性及其与归纳推理的关系。这四项发现也成为人们对学习过程研究的重要基础。

统计学习方法概述1/30/2021Chap8SVMZhongzhiShi6统计学习方法: 传统方法:统计学在解决机器学习问题中起着基础性的作用。传统的统计学所研究的主要是渐近理论即当样本趋向于无穷多时的统计性质。统计方法主要考虑测试预想的假设和数据模型拟合。它依赖于显式的基本概率模型。模糊集粗糙集支持向量机

统计学习方法概述1/30/2021Chap8SVMZhongzhiShi7统计方法处理过程可以分为三个阶段:（1）搜集数据:采样、实验设计（2）分析数据:建模、知识发现、可视化（3）进行推理:预测、分类常见的统计方法有:回归分析（多元回归、自回归等）判别分析（贝叶斯判别、费歇尔判别、非参数判别等）聚类分析（系统聚类、动态聚类等）探索性分析（主元分析法、相关分析法等）等。

COLT(ComputationalLearningTheory)支持向量机 SVM是一种基于统计学习理论的机器学习方法,它是由Boser,Guyon,Vapnik在COLT-92上首次提出,从此迅速发展起来 VapnikVN.1995.TheNatureofStatisticalLearningTheory.SpringeVerlag,NewYork VapnikVN.1998.StatisticalLearninTheory.Wiley-IntersciencePublicatiJohnWileySons,Inc 目前已经在许多智能信息获取与处理领域都取得了成功的应用。1/30/2021Chap8SVMZhongzhiShi8

统计学习理论1/30/2021Chap8SVMZhongzhiShi9 统计学习理论是小样本统计估计和预测学习的最佳理论。 假设输出变量Y与输入变量X之间存在某种对应的依赖关系,即一未知概率分布P(X,Y),P(X,Y)反映了某种知识。学习问题可以概括为:根据l个独立同分布(independentlydrawnandidenticallydistributed)的观测样本trainset,(x1,y1),(x2,y2),…,(xn,yn)

函数估计模型学习样本的函数: 产生器(G) generatesobservationsx(typicallyinRn),independentlydrawnfromsomefixeddistributionF(x) 训练器Supervisor (S) labels