统计学习概论.pptVIP

统计学习概论 丁义明  2010年7月22日 概要 统计学习中的基本方法简介 误差分析与模型选择 核磁共振数据分析 一、统计学习中的基本方法简介 数据分析的目标 设 其中 为独立随机扰动， 从有限个样本出发，估计未知函数关系 f 好？？？？ 有监督学习 有监督学习： 给定包含输入特征和对应响应的训练样本，学习Y与X之间的关系 对新的输入x，预测其响应y 如果输出值Y的类型是连续值：回归 根据公司的业绩和经济学数据，预测今后6个月的股票价格 根据患者血液的红外光谱，估计糖尿病患者血液中葡萄糖的含量 如果输出值Y为离散值：分类 根据数字图像，识别手写的邮政编码数据 根据邮件中单词和字符的比例，识别email是否为垃圾邮件 目标：根据训练数据 正确预测未见过的测试样本 理解哪些输入变量影响输出 怎样评价预测的质量 简单分类问题 平面上从未知分布产生的200点，其中类别?={绿，红}各100个点 。 我们能建立一个规则，预测将来的点的颜色的规则吗？ 两种方法： 线性回归 k-最近邻方法 线性判别分析 线性回归（高bias低variance） 输入p维向量X，扩展成p+1维(X,Y)：均为列向量 类别G=绿时，Y=0；否则Y=1。 Y用X的线性函数来建模——利用最小二乘法，通过最小化