5.1回归与最优化解析.ppt

线性回归与广义线性回归 北京10月机器学习班 邹博 2014年10月26日 主要内容 回归 线性回归 Logistic回归 最优化问题 梯度下降 牛顿法 拟牛顿法 了解参数学习算法和非参数学习算法的区别 该章节的很多内容在第一次已经有所阐述，本次将重点讲述未涉及的问题。 历史遗留问题：求导 历史遗留问题：直线、线段的表示 直线 y=θx1 + (1-θ)x2, θ∈R 线段 y=θx1 + (1-θ)x2, θ∈[0,1] 线性回归 y=ax+b 多个变量的情形 考虑两个变量 最小二乘的目标函数 m为样本个数，则一个比较“符合常理”的误差函数为： 符合常理 最小二乘建立的目标函数，即是在噪声为均值为0的高斯分布下，极大似然估计的目标函数 梯度下降算法 初始化θ（随机初始化） 迭代，新的θ能够使得J(θ)更小 如果J(θ)能够继续减少，返回（2） α称为学习率 梯度方向 批处理梯度下降算法 批处理梯度下降图示 随机梯度下降算法 θ的解析式 事实上，线性回归问题，是可以通过“求导=0”的方式，得到参数的解析式的。 若XTX不可逆，不可使用 实际中，若XTX阶过高，仍然需要使用梯度下降的方式计算数值解。 附：θ的解析式的求解过程 线性回归的理解 可以对样本是非线性，只要对参数θ线性 局部加权线性回归 LWR：Locally Weighted linear Regression 权值的设置 ω的一种可能的选择方式： τ称为带宽，它控制着训练样本随着与x(i)距离的衰减速率。 参数算法 – 非参数学习算法 Logistic回归 Logistic函数 Logistic函数的导数 Logistic回归参数估计 假定： 对数似然函数 参数的迭代 Logistic回归参数的学习规则： 牛顿法： 对数线性模型 一个事件的几率odds，是指该事件发生的概率与该事件不发生的概率的比值。 对数几率：logit函数 解最优化问题的方法 梯度下降 随机梯度下降 批处理梯度下降 牛顿法 拟牛顿法 牛顿法 求：min f(x)，x∈Rn 若f(x)二阶导连续，则可以使用牛顿法，将f(x)在xk处Taylor展开： 改进经典牛顿法的着眼点 经典牛顿法虽然具有二次收敛性，但是要求初始点需要尽量靠近极小点，否则有可能不收敛。 计算过程中需要计算目标函数的二阶偏导数，难度较大。 目标函数的Hessian矩阵无法保持正定，会导致算法产生的方向不能保证是f在Xk 处的下降方向，从而令牛顿法失效； 如果Hessian矩阵奇异，牛顿方向可能根本是不存在的。 修正牛顿方向 拟牛顿法quasi-Newton method 拟牛顿条件： 整体流程 对称秩1校正公式 对称秩2校正公式 DFP BFGS 指数族 指数族 指数族概念的目的，是为了说明广义线性模型Generalized Linear Models 凡是符合指数族分布的随机变量，都可以用GLM回归分析 如：Bernoulli分布和高斯分布 Bernoulli分布属于指数族 Gaussian分布也属于指数族分布 广义线性模型GLM 因变量y不再只是正态分布，而是扩大为指数族中的任一分布； 解释变量x的线性组合不再直接用于解释因变量y的均值u，而是通过一个联系函数g来解释g(u)；这里，要求g连续单调可导。 连接函数 连接函数：单调可导 恒等：g(u)=u，线性模型即使在正态分布下的恒等连接的广义线性模型， 对数：g(u)=ln(u)，因为对数的逆是指数，因此它可以将原本线性关系转变成乘积关系； Logit：g(u)=ln(u/1-u)，它的特点为可将预测值控制在0~1之间，对于因变量y为比率时适合使用 其他连接函数 如：可以将Logistic函数做拉伸变换，得到新的连接函数 参考文献 Prof. Andrew Ng, Machine Learning, Stanford University 高等数学，高等教育出版社，同济大学数学教研室 主编, 1996 统计学习方法，李航著，清华大学出版社，2012年 /articles/auQFju(Logistic回归) /view/2294104.htm(Logistic回归) /blog/static/177679404201211771727509/(广义线性模型) /s/blog_5d87d79a0100dgxp.html(广义线性模型) /p-538321429.html(拟牛顿) /s/blog_5f2347.html (拟牛顿) * * * * *