统计学习理论和支持向量机.ppt

第13章 统计学习理论和支持向量机Chapter 13 : Statistical learning theory and support vector machines 算法改进与性能分析 13.5.4 支持向量机当前的研究状况（续） 例：剪辑支持向量机 原始样本集 SVM初分类 去除错分样本 与重叠区样本 得到新样本集 SVM再分类 13.5.4 支持向量机当前的研究状况（续） 与其它学习模型的等价性 例：ＳＶＭ与基于规划的神经网络的等价性 著名的M-P神经元模型 对线性可分样本集 通常设增广向量 可将样本集分开的某分类面必满足： 基于规划的神经网络： 其中 13.5.4 支持向量机当前的研究状况（续） 核函数设计及模型选择 RBF KMOD KMOD RBF EXPO RBF核： KMOD核： KMOD核的好处： 核函数K从某种意义上说是原始空间两个向量间相关性的度量。当　　　非常大时，ＲＢＦ核使本该存在的向量间的相关性变为０，而ＫＭＯＤ核考虑了这种相关性． 例： Kernel with Moderate Decreasing (KMOD) 13.5.4 支持向量机当前的研究状况（续） SVM快速算法 第一类：　分解算法 　(1) Chunking (Vapnik et al. ) (2) Work Set (Osuna et al. ) (3) (Joachims et al.) (4) SMO (Platt et al.) SMO: sequential minimal optimization 第二类：　其它算法　 (1) RNN ( Recurrent neural network ); (2) FINPA (Fast iterative nearest point algorithms); (3) PSVM (Projection svm); (4) SOR (successive overrelaxation) 13.5.4 支持向量机当前的研究状况（续） 多类SVM分类机 组合法 一步法 1 .一对多 2. 一对一 3. DAGSVM 4. SVM_TREE 5. M_ary SVM 多类 SVM 1. Weston et al. 2. GTO/SVM 3. Cramner et al. 4. Y.Guermeur et al. 5. J. Kindermann et al. 6. 超球法 * 本章主要内容 13.1 机器学习问题的表示 13.3 统计学习理论的主要内容 13.2 统计学习理论的发展历程 13.4 最优分类面 13.5 支持向量机的基本原理 (熟悉) (了解) (重点) (重点) (熟悉) 13.1 机器学习问题的表示 13.1.1 机器学习与模式识别的关系 机器学习——让机器拥有类似人类的学习能力； 机器学习是人工智能的重要分支； 模式识别可以看作是机器学习的特例。 如果在人工智能上有所突破，以至于机器能够学习，那么它将价值10个微软。 ——B.Gates，2004 13.1.2 机器学习的发展历史 起源: 上世纪50年代中叶 70年代中叶——80年代中叶： 探索各种学习方法; 50年代中叶——60年代中叶： 研究各种自适应系统； 代表作: Samuel的下棋程序 60年代中叶——70年代中叶： 模拟人类的概念学习过程; 代表作: Winston的结构学习系统 13.1.2 机器学习的发展历史（续） 90年代中叶——当前： 分类器集成、海量样本学习、增强学习、学习复杂随机模型、核机器学习等; 吸引了越来越多的学者进行机器学习研究; 1980年,在卡内基-梅隆大学（CMU）: 召开了第一届机器学习国际研讨会,标志着机器学习研究在全世界兴起。 80年代中叶——90年代中叶：主要研究人工神经网络; 13.1.3 机器学习研究领域的细分 即人工神经网络（ANN）学习 今天要讲的内容