机器学习数据回归.pptVIP

* * * * * * * * * * * * * * * * * * * * * 中国科学院大学 叶齐祥 qxye@ucas.ac.cn 第2.1节 数据回归Data regression 主要内容: 线性回归 线性回归 局部加权的线性回归 非线性回归 带有非线性基的回归 欠拟合与过拟合 Logistic 回归 数据回归介绍 例子 假如你刚刚搬到学校，需要知道在你学校周围的房价，设计一个数据回归程序。 距离学校的距离 卧室数目 房租 2.30km 1 1600 5.06km 2 2000 4.33km 2 2100 1.09km 1 1500 … 1.50km 1 ? 2.70km 1.5 ? 例子 假如你刚刚搬到学校，需要知道在你学校周围的房价，设计一个数据回归程序。 距离 房 租 1.0/距离 房间 房 租 数据回归介绍 问题描述 特征： 居住面积、房间数、距离… 训练集合 回归目标 数据回归介绍 Training set Learning algorithm X h y 房价 假设目标(Y)是特征的线性方程 如何求取参数 直观的方法是最小化 线性回归 目标方程 梯度方法求解 获得梯度下降迭代 线性回归—最小均方差（LMS）求解 目标方程 Steepest下降方法求解 获得Steepest decent迭代 线性回归—最小均方差（LMS）求解 线性回归—梯度下降(Gradient descend)求解 假如目标值与输入之间的关系为 其中 表示符合正态分布的随机噪声 做样本独立性假设，得到 线性回归—概率角度理解LMS 计算Log似然 上式第二项即是LMS 结论：求最小均方差LMS和极大似然估计MLE是等效的 线性回归—概率角度理解LMS 主要内容: 线性回归 线性回归 欠拟合与过拟合 局部加权的线性回归 非线性回归 带有非线性基的回归 欠拟合与过拟合 Logistic 回归 加权 原来的目标函数： 加权函数： 权值： 其中X靠近测量值或者测量值均值变量 线性回归—局部加权 主要内容: 线性回归 线性回归 局部加权的线性回归 非线性回归 带有非线性基的回归 欠拟合与过拟合 Logistic 回归 设计出非线性特性 其中 是基，例如 非线性回归—非线性基 多项式： RBF: Sigmod: 1D RBF 拟合后 回归—1D and 2D RBFs Good 2D RBF Bad 2D RBF 回归—1D and 2D RBFs Good 2D RBF Bad 2D RBF 回归—1D and 2D RBFs 主要内容: 线性回归 线性回归 局部加权的线性回归 非线性回归 带有非线性基的回归 欠拟合与过拟合 Logistic 回归 欠拟合与过拟合 数据回归—欠拟合与过拟合 主要内容: 线性回归 线性回归 局部加权的线性回归 非线性回归 带有非线性基的回归 欠拟合与过拟合 Logistic 回归 回归分析可用来分析一个/多个自变量与一个因变量的关系，模型中因变量Y是边连续性随机变量，并要求呈正态分布。 但在医学研究中，常碰到因变量的取值仅有两个，如药物实验中，动物出现死亡或生存，P和X的关系显然不能用一般线性回归模型P＝B0＋B1X来表示。这时可用Logistic回归分析。 Logistic 回归 Logistic 回归 先引入Logistic分布函数，表达式为： X的取值在正负无穷大之间；F(x)则在0－1之间取值，并呈单调上升S型曲线。人们正是利用Logistic分布函数这一特征，将其应用到例如： 临床医学和流行病学中来描述事件发生的概率。 例子：以因变量Y＝1表示死亡， Y ＝0表示生存，以P(Y ＝1|X)表示使用药物剂量X的动物死亡的概率，设 记Logit(P)=ln[p/(1-p)],则上式可表示为： 这里X的取值仍是任意的， Logit(P)的值亦在正负无穷大之间，概率P的数值则必然在0－1之间。 p/(1-p)为事件的优势， Logit(P)为对数优势，故logistic回归又称对数优势线性回归 Logistic 回归 Logistic 回归 一般地，设某事件Y发生（Y＝1）的概率P依赖于多个自变量（x1,x2, …,xp)，且 或者 则称该事件发生的概率与变量间关系符合多元Logistic回归或对数优势线性回归。 优势比(odds ratio, OR)： 某个自变量Xj 改变一个单位，造成的后验概率