《线性回归-例子.pptVIP

线性回归 马能军 2012.3.11 简单实例 一套200平方米的房子价格 由数据----------------曲线 要求：拟合曲线的误差最少 直线 多项式 对数 指数 梯度下降 梯度下降方法实现回归 方向导数 梯度 方向导数 方向导数：如果函数z?f (x，y)在点P (x，y)是可微分的，那么函数在该点沿任一方向l 的方向导数都存在，且有 梯度 梯度： 函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致(等高线，法向量)，而它的模为方向导数的最大值． 梯度下降-实例（1） 考虑一座山在点(x,y)的高度是H(x,y)。在这一点的梯度是在该点坡度（或者说斜度）最陡的方向。梯度的大小告诉我们坡度到底有多陡。 梯度下降-实例（1） 函数，如下 梯度下降-实例（1） 梯度下降回归-----缺陷 靠近极小值时速度减慢。 可能会之字型地下降。 梯度下降-实例（2） 表达式 Where is 最小值? 远离(1,1)点 和 在(1,1)点领域内的变化缓急？ 梯度下降-实例（2） 梯度下降-实例（2） 其最小值在(1,1)处，数值为0。 此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。 优化过程是之字形的向极小值点靠近，速度非常缓慢。 logistic回归 Logistic回归本质