12-统计学习理论(学时).pdfVIP

第12章 统计学习理论 主讲人：李君宝 哈尔滨工业大学 1. 统计学习理论 2. 支持向量机 3. 核方法 1.统计学习理论 【机器学习问题的基本表示】 用三个部分来描述机器学习的一般模型： (1) 产生器 (Generator)，产生随机向量x，它们是从固定但未知的概率 分布函数F(x) 中独立抽取的。 (2) 训练器 (Supervisor)，对每个输入向量x返回一个输出值y，产生输 出的根据是同样固定但未知的条件分布函数F(y|x)。 (3) 学习机器(Learning Machine)，能够实现一定的函数集. 系统S为研究对象，通过一系列的观 输入x 输出y 系统 （S ） 测样本来求得学习机LM，使得LM 的输出 能够尽量准确的预测S的输 学习机 （LM ） 出y 。(x ,y )，(x ,y )，…，(x ,y ) ˆ 1 1 2 2 n n 预测输出y 【统计学习方法概述】 统计方法是从事物的外在数量上的表现去推断该事物 可能的规律性。科学规律性的东西一般总是隐藏得比较深 ，最初总是通过其数量表现并由统计分析看出一些线索， 然后提出一定的假说或学说，作进一步深入的理论研究。 当理论研究提出一定的结论时，往往还需要在实践中加以 验证。就是说，观测一些自然现象或专门安排的实验所得 资料，是否与理论相符、在多大的程度上相符、偏离可能 是朝哪个方向等问题，都需要用统计分析的方法处理。 5 【统计学习方法概述】 近百年来，统计学得到极大的发展。我们可用下面的框 架粗略地刻划统计学发展的过程： • 1900-1920 数据描述 • 1920-1940 统计模型的曙光 • 1940-1960 数理统计时代 – 随机模型假设的挑战 – 松弛结构模型假设 • 1990-1999 建模复杂的数据结构 6 【统计学习方法概述】 统计学习方法： • 传统方法: 统计学在解决机器学习问题中起着基础 性的作用。传统的统计学所研究的主要是渐近理论 ，即当样本趋向于无穷多时的统计性质。统计方法 主要考虑测试预想的假设和数据模型拟合。它依赖 于显式的基本概率模型。 • 模糊集 • 粗糙集 • 支持向量机 7 【统计学习方法概述】 统计方法处理过程可以分为三个阶段： • （1）搜集数据：采样、实验设计 • （2 ）分析数据：建模、知识发现、可视化 • （3 ）进行推理：预测、分类 常见的统计方法有: 回归分析（多元回归、自回归等） 判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 聚类分析（系统聚类、动态聚类等） 探索性分析（主元分析法、相关分析法等）等。 8 【风险】 ˆ • 学习机LM输出 y 与输入x之间可以看作是一个函数关系：