核函数方法.PDFVIP

神经网络 Neural Networks 第七章 核函数方法 史忠植 中国科学院计算技术研究所 / 内容提要 •7.1 概述 •7.2 统计学习问题 •7.3 学习过程的一致性 •7.4 结构风险最小归纳原理 •7.5 支持向量机 •7.6 核函数 •7.7 核主成分分析 2014/4/14 史忠植 神经网路 2 支持向量机 • SVM是一种基于统计学习理论的机器 学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此 迅速发展起来 • Vapnik V N. 1995. The Nature of Statistical Learning Theory. Springer- Verlag, New York • Vapnik V N. 1998. Statistical Learning Theory. Wiley-Interscience Publication, John WileySons, Inc • 目前已经在许多智能信息获取与处理 领域都取得了成功的应用。 2014/4/14 史忠植 神经网路 3 统计学习理论 • 统计学习理论是小样本统计估计和预测 学习的最佳理论。 • 假设输出变量Y与输入变量X之间存在某 种对应的依赖关系,即一未知概率分布 P(X,Y)，P(X,Y)反映了某种知识。学习 问题可以概括为:根据l个独立同分布 ( independently drawn and identically distributed )的观测样本train set， (x1,y1),(x2,y2),…,(xn,yn) 2014/4/14 史忠植 神经网路 4 函数估计模型 • 学习样本的函数: –产生器 (G) generates observations x n (typically in R ), independently drawn from some fixed distribution F (x) –训练器Supervisor (S) labels each input x with an output value y accor