9.线性回归讲解.ppt

矩阵解法 n*n矩阵A的迹(trace)定义为A的主对角上元素之和，记为 tr A 若a是一实数，即一个1x1矩阵，则 tr a = a 性质: 迹可理解为一个应用在 A上的函数 f(A) = tr(A) 矩阵解法 输入矩阵(m * (n+1)维): 目标变量值向量(m维): 在房屋价格预测例子中， x1为“面积”属性， x2为“卧室数量”属性， x1(1)为第1个样本的面积， x2(1)为第1个样本的卧室数量， x1(2)为第2个样本的面积， x2(2)为第2个样本的卧室数量， 共m个样本，每个属性有n个属性 在房屋价格预测例子中， y(1)为第1个样本的报价， y(2)为第2个样本的报价， 共m个样本 假设共有m个训练样本，每个样本有n个属性 矩阵解法 矩阵解法 为最小化 J，计算 J 的梯度 X是m×(n+1)维 = 一个数 矩阵解法 若a为一实数，则 tr a = a 矩阵解法 矩阵解法 矩阵解法 主要内容 线性回归 梯度下降算法 线性最小二乘问题的矩阵解法 最小二乘的概率解释 局部加权线性回归 最小二乘的概率解释 为什么最小二乘代价函数J是一个合理的选择？ 最小二乘的概率解释 假设目标变量和输入的关系可表示为： 其中?(i)表示线性模型与目标值的误差。 例如样本的某属性和房价预测相关， 但却没有被考虑进来；或随机噪音。 最小二乘的概率解释 假设误差?(i)独立同分布(IID, Independent and Identical Distribution)， 并服从正态分布： 中心极限定理: 若一随机变量受大量微小独立的随机因素影响， 其中每个个别随机变量对于总和的作用都是微小的， 那么作为总和的随机变量的分布就会逼近于正态分布。 因此，?(i)的概率密度： 最小二乘的概率解释 给定输入矩阵X (每i行为第i个样本的特征向量)和参数θ， 可得到似然(likelihood)函数: m为样本总数，(i)上标表示第(i)个样本 最大似然法，也叫极大似然估计 最小二乘的概率解释 最小化 最小二乘的概率解释 基于前面的概率假设(IID，正态分布)，最小二乘回归相当于寻找最大化似然函数的θ。因此，最小二乘回归可被证明是一种非常自然的选择。 主要内容 线性回归 梯度下降算法 线性最小二乘问题的矩阵解法 最小二乘的概率解释 局部加权线性回归 局部加权线性回归 使用更多合适的特征，例如 y=θ0+θ1x+θ2x2 可能可以拟合得更好 考虑对数据集进行线性拟合得到线性模型 y=θ0+θ1x 数据点不在一条直线上， 用线性模型拟合的并不好 局部加权线性回归 但也可能导致过拟合，例如上图为 y=θ0+θ1x+...+θ5x5 的拟合结果 考虑对数据集进行线性拟合得到线性模型 y=θ0+θ1x 数据点不在一条直线上， 用线性模型拟合的并不好 局部加权线性回归 局部加权线性回归 (LWLR, Locally weighted linear regression): 越靠近待预测点的训练样本，对预测结果的影响越大， 越远离待预测点的训练样本，对预测结果的影响越小。 只关注位于待预测点附近的样本点(即“局部”的含义) 给每个训练样本赋予一个权重w(i)， 训练样本点离待预测点越近，w(i)越趋于1 训练样本点离待预测点越远，w(i)越趋于0 局部加权线性回归 直观的理解，局部加权线性回归在给定待预测点时， 对其附近的点进行训练得到局部线性模型，并用于预测 局部加权线性回归 直观的理解，局部加权线性回归在给定待预测点时， 对其附近的点进行训练得到局部线性模型，并用于预测 局部加权线性回归 直观的理解，局部加权线性回归在给定待预测点时， 对其附近的点进行训练得到局部线性模型，并用于预测 局部加权线性回归 线性回归 局部加权线性回归 1. 求拟合参数θ以最小化 2. 输出 θTx 1. 求拟合参数θ以最小化 2. 输出 θTx 权重向量 权重的计算 一种合适的权重计算公式为 其中x为待预测点，x(i)为第i个样本点 若x(i)离x较近，则w(i)趋于1 若x(i)离x较远，则w(i)趋于0 x w(i) x(i) x(i) w(i) τ为波长参数，值越小，图形越尖 权重的计算 考虑到x为多维特征向量， w(i)的计算公式可改为 局部加权线性回归 优点： 相比线性回归，特征选择的重要性不那么大； 每次预测都要重新学习计算权值和参数，对数据的自适应能力更强； 缺点： 每次预测都要重新学习计算权值和参数，计算量大； 谢谢！ 数据挖掘:线性回归 王成（副教授） 计算机科学与技术学院 主要内容 线性回归 梯度下降算法 线性最小二乘问题的矩阵解法 最小二乘的概率解释 局部加权线性回归 有监督的机器学习过程 输出 y (贷款申请人信息) (是否可以批准?)