(三)线性回归概要.pptx

数据挖掘方法三线性回归;回归定义;线性回归 曲线回归;Y随X的增加而增大且呈直线趋势。;残差(residual)，即实测值Y与假定回归线上的估计值Yhat的纵向距离。 求直线原理：最小二乘法 求解a、b实际上就是“合理地”找到一条能最好地代表数据点分布趋势的直线。 最小二乘法可保证各实测点至直线的纵向距离的平方和最小 ;x平均=2.5；Y平均=55.83 b1分子=364.5 b1分母=17.5 b1=20.8 b0=3.76 Y=20.8X+3.76 如果 X=4, Yhat=20.8*4+3.76=86.96 残差：e=77-86.96=-9.96;统计假设;例二： 女性的身高（英寸，1英寸=2.54厘米）和体重（磅） 15个观测值 fit=lm(weight~height,data=women) ; fit=lm(weight~height,data=women) summary(fit) Call: lm(formula = weight ~ height, data = women) Residuals: Min 1Q Median 3Q Max -1.7333 -1.1333 -0.3833 0.7417 3.1167 Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) -87.51667 5.93694 -14.74 1.71e-09 *** height 3.45000 0.09114 37.85 1.09e-14 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 1.525 on 13 degrees of freedom Multiple R-squared: 0.991, Adjusted R-squared: 0.9903 F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14 ;多项式回归 fit3=lm(weight~height+I(height^2),data=women) summary(fit3) Call: lm(formula = weight ~ height + I(height^2), data = women) ? Residuals: Min 1Q Median 3Q Max -0.50941 -0.29611 -0.00941 0.28615 0.59706 ? Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) 261.87818 25.19677 10.393 2.36e-07 *** height -7.34832 0.77769 -9.449 6.58e-07 *** I(height^2) 0.08306 0.00598 13.891 9.32e-09 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 ? Residual standard error: 0.3841 on 12 degrees of freedom Multiple R-squared: 0.9995, Adjusted R-squared: 0.9994 F-statistic: 1.139e+04 on 2 and 12 DF, p-value: 2.2e-16 ;例三： ＊50 obs. 4 数值型自变量 因变量Murder数值型 Murder 谋杀率 population人口 Illiteracy 文盲率 Income 收入 Frost 结霜天数 ;四个预测变量都出现了倾斜， 谋杀率随着人口和文盲率的增加而增加??随着收入水平和结霜天数增加而下降。 越冷的州府文盲率越低，收入水平越高；文盲率越高的州府收入越低。; fitstate=lm(Murder~.,data=states) summary(fitstate) Call: lm(formula = Murder ~ ., da