线性回归的例子证明.pptVIP

线性回归 * 西北工业大学 * 西北工业大学 简单实例 一套200平方米的房子价格 由数据----------------曲线 要求：拟合曲线的误差最少 直线 多项式 对数 指数 * 西北工业大学 梯度下降 梯度下降方法实现回归 方向导数 梯度 * 西北工业大学 方向导数 方向导数：如果函数z?f (x，y)在点P (x，y)是可微分的，那么函数在该点沿任一方向l 的方向导数都且有 * 西北工业大学 梯度 梯度： 函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致(等高线，法向量)，而它的模为方向导数的最大值． PS： grad f(x,y)，即函数f(x,y)梯度 f(x,y)=c，即在(x,y)处等高线值为c * 西北工业大学 梯度下降-实例（1） 考虑一座山在点(x,y)的高度是H(x,y)。在这一点的梯度是在该点坡度（或者说斜度）最陡的方向。梯度的大小告诉我们坡度到底有多陡。 * 西北工业大学 梯度下降-实例（1） 函数，如下 曲面图： * 西北工业大学 梯度下降-实例（1） 等高线图： * 西北工业大学 梯度下降回归-----缺陷 靠近极小值时速度减慢。 可能会之字型地下降。 * 西北工业大学 梯度下降-实例（2） 表达式 Where is 最小值? 远离(1,1)点 和 在(1,1)点领域内的变化缓急？ * 西北工业大学 梯度下降-实例（2） * 西北工业大学 梯度下降-实例（2） 其最小值在(1,1)处，数值为0。 此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。 优化过程是之字形的向极小值点靠近，速度非常缓慢。 * 西北工业大学 logistic回归 Logistic回归本质上是线性回归，只是在特征到结果的映射中加入一层函数映射 * 西北工业大学 logistic回归 应用 二分类Logistic回归模型 多分类Logistic回归模型 * 西北工业大学 logistic回归 患病率 P1=a/m1 P2=b/m2 * 西北工业大学 logistic回归 Odds= (Odds为优势) P越大,则Odds越大；P越小,则Odds越小 对于两个Odds的比较，一般用它们的Ratio，并称为Odds Ratio(OR,优势比)，其定义如下： * 西北工业大学 logistic回归 样本估计统计量为： 比较结果：OR =1? OR1 ? OR1? 多重线性回归的表达式为： 公式1.0 * 西北工业大学 logistic回归 由上面公式1.0可推导出 * 西北工业大学 logistic回归系数的意义 以x1的回归系数 为例 一个暴露因素：暴露为1，非暴露为0。 除x1，固定其它自变量 * 西北工业大学 logistic回归—实例（1） 研究急性心肌梗塞(AMI)患病与饮酒的关系。 * 西北工业大学