统计学习与模式识别基础.pptVIP

统计学习与模式识别基础-I (Fundamental of Statistical Learning and Pattern Recognition - I) 为什么需要统计学习? 我们被信息淹没，但却缺乏知识。---- R. Roger 恬静的统计学家改变了我们的世界：不是通过发现新的事实或者开发新技术，而是通过改变我们的推理、实验和观点的形成方式。---- I. Hacking 学习，是系统在不断重复的工作中对本身能力的增强或改进，使得系统在下一次执行相同或类似任务时，能比现在做得更好或效率更高。 ---- H. A. Simon 从数据中学习！ 统计学：数据分析方法 机器学习：基于数据的学习 为什么数字媒体技术中需要统计学习？ 统计学习示例 从统计学习到模式识别示例 Books and References 主要参考书 R. Duda, P. Hart, D. Stork, “Pattern Classification”, second edition, 2000. T. Hastie, R. Tibshirani, J. Friedman, “The Elements of statistical Learning: Data Mining, Inference, and Prediction”, 2001, Springer-Verlag. 其他参考书 V. N. Vapnik, “The Nature of Statistical Learning Theory”, 2nd ed., Springer, 2000. 边肇祺, 模式识别(第二版), 清华大学出版社. 提 纲 第一讲：统计学习 概率论基础知识 统计学习方法概述 贝叶斯决策理论Bayesian Decision Theory 常见统计学习方法 案例介绍：Scene Classification 第二讲：模式识别 模式识别概论 主要模式识别方法介绍 模式识别过程 案例介绍：Object Recognition Face Recognition 一、概率论基础知识 概率论基本概念(1) 随机变量及其分布 cdf、pdf/pmf 多元随机向量及其分布 联合分布、边缘分布、条件分布 贝叶斯公式 条件独立 概率论基本概念(2) 期望 期望的直观和数学含义 条件期望 方差 方差的直观和数学含义 条件方差 协方差/相关系数 常见的离散型概率分布 二项分布 泊松概率 常见的连续型概率分布 均匀分布 正态分布 正态分布 描述连续型随机变量的最重要的分布 可用于近似离散型随机变量的分布 例如: 二项分布 经典统计推断的基础 正态分布是一个分布族，每一特定正态分布通过均值?的标准差?来区分。?决定曲线的高度，?决定曲线的平缓程度，即宽度 二、统计学习方法概述 机器学习的基本问题和方法 机器学习 根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。 机器学习问题的表示 根据n个独立同分布观测样本确定预测函数f(x,w)。 在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使预测的期望风险最小。 机器学习实现方法 经典的参数统计估计方法 需要已知样本分布形式 样本数目趋于无穷大 经验非线性方法 缺乏统一的数学理论 统计学习方法 专门研究给定样本（特别是小样本情况）下的机器学习规律 追求现有信息条件下的最优结果 学习问题的一般表示 学习目标 Given an i.i.d. l-sample z1,…,zl drawn from a fixed distribution F(z) For a function class’ loss functions Q(z,?), with ? in ? We wish to minimise the risk, finding a function ?* 相关概念 损失函数 loss function (L, Q)：the error of a given function on a given example 风险函数risk functional (R)：the expected loss of a given function on an example drawn from F(x,y) 学习问题的一般表示 学习的目的在于使期望风险最小化，由于可利用的信息只有样本，期望风险往往无法计算。 经验风险最小化归纳原则 (The Empirical Risk Minimization (ERM) Inductive Principle) 核心思想：用样本定义经验风险。 De