多元线性回归+KNN方法(第九章).pptVIP

**多元线性回归模型

9.3多元线性回归在实际问题中，常常需要研究一个被解释变量，多个解释变量的线性回归模型例位于南加州的巴特勒运输公司的管理人员为制定最佳的工作计划，希望估计他们的司机每天行驶的时间。起初，公司管理人员认为，司机每天行驶的时间与每天运送货物行驶的里程密切相关，通过观察散点图，管理人员假设，能利用一元线性回归模型来描述行驶的小时数（Y）与行驶的英里数（X）之间的关系。对公司的实际数据，采用普通最小二乘法估计出回归方程为通过对方程的分析，公司的管理人员发现，虽然这一结果不错，但方程只能解释每天行驶时间的变异性的66.4%。因此希望增加第二个解释变量去解释剩下的变异性。管理人员在研究其它影响行驶时间的因素时，觉得运送货物的次数也会影响行驶的时间。因此在增加了一个解释变量—运送货物的次数，以及相应的数据后，再进行回归分析，得到的回归方程具有形式管理人员现在发现，这一方程能解释行驶时间变异性的90.4%。这已是相当好的结果了。多元线性回归模型的基本假设（高斯假设）多元线性回归模型的矩阵表示多元线性回归模型应该对所有的样本数据都成立，因此有这是n个表达式。回归分析的目的就是利用由样本数据产生的这n个表达式估计模型的参数，得到模型的参数估计值使得回归方程最好地拟合了所有样本数据。为便于讨论，对多元线性回归模型，常使用矩阵形式其中最小二乘估计式现在仍采用矩阵的记法，多元线性回归模型为若得到了参数的估计量则相应的回归方程为于是残差向量为普通最小二乘法就是要确定参数的估计值使残差平方和达到最小。由于残差的平方和可以表示为而要使残差的平方和最小就必须，即这就是所谓的正规方程组，其解就是要求的估计量。一般的矩阵可逆。因此正规方程组的解为这就是要求的最小二乘(OLS)估计量。9.5K-最近邻分类分类思想基于距离的分类算法的思路定义：给定一个数据库D={x1，x2，…，xn}和一组类C={C1，…，Cm}。假定每个元组包括一些数值型的属性值：xi={xi1，xi2，…，xik}，每个类也包含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分类问题是要分配每个xi到满足如下条件的类Cj：sim(xi，Cj)=sim(xi，Cl)，?Cl∈C，Cl≠Cj， 其中sim(xi，Cj)被称为相似性。在实际的计算中往往用距离来表征，距离越近，相似性越大，距离越远，相似性越小。距离的计算方法有多种，最常用的是通过计算每个类的中心来完成。基于距离的分类算法的一般性描述算法：通过对每个元组和各个类的中心来比较，从而可以找出他的最近的类中心，得到确定的类别标记。算法基于距离的分类算法输入：每个类的中心C1，…，Cm；待分类的元组x。输出：输出类别c。（1）dist=∞；//距离初始化（2）FORi:=1tomDO（3） IFdis(ci，x)distTHENBEGIN（4） c←i；（5） dist←dist(ci，x)；（6） END.基于距离的分类方法的直观解释（a）类定义（b）待分类样例（c）分类结果K-近邻分类算法K-近邻分类算法（KNearestNeighbors，简称KNN）通过计算每个训练数据到待分类元组的距离，取和待分类元组距离最近的K个训练数据，K个数据中哪个类别的训练数据占多数，则待分类元组就属于哪个类别。算法K-近邻分类算法输入：训练数据X；近邻数目K；待分类的元组t。输出：输出类别c。（1）N=?；（2）FOReachd∈XDOBEGIN（3）IF|N|KTHEN（4）N=N∪{d}；（5）ELSE（6） IF?u∈Nsuchthatsim(t，u)sim(t，d)THENBEGIN（7） N=N-{u}；（8） N=N∪{d}；（9） END（10）END（11）c=classtowhichthemostu∈N.KNN的例子（1）“高度”用于计算距离，K=5，对Pat，女，1.6分类。对T前K=5个记录，N={Kristina，女，1.6、Jim，男，2、Maggie，女，1.9、Martha，女，1.88和Stephanie，女，1.7}。对第6个记录d=Bob，男，1.85，得到N={Kristina，女，