数据挖掘与分析作业（章晶晶51092907020）..doc

数据挖掘与分析作业——中国交通运输与经济发展联系 社会学研究生 章晶晶（51092907020） [前言]选择此份数据是因为：1、文件夹中的部分数据没有题项名称，解释困难；2、有的数据已经有同学选择；3、本份数据主要是连续变量，有利于用多种分析方法解释之。 [声明]本人在制作本作业之前曾参考同学已完成作业之样式，特别鸣谢吴志恒等同学。 一、数据概况 本份数据主要包括《1980-2002年交通运输长度》，《货运运输量》和《客运运输量》三个数据文件。经过合并，形成《交通与经济发展数据》主要包含了16个变量，包括年份、铁路（长度、客运、货运）公路（长度、客运、货运）、水运（长度、客运、货运）、民航（长度、货运）以及交通投入、当年GDP总量、货运、客运总计（皆为连续变量）。 在挖掘、分析数据之前，首先要确立需要思考的问题： 历年来交通事业发展的概况； 交通投入与GDP增长之间的关系；原假设：无显著相关 对GDP增长而言，哪几类交通发展与之相关性较大； 在数据中，我们遇到的第一个问题就是“缺失值”的情况。因为各种原因，本数据的部分年数情况不明。对于数据，为分析需要，首先处理中间的缺失值，对末尾的缺失值不做处理。 变量 缺失年份 替换方法 交通投入 1991 临近点的中位数 公路货运 1989 临近点的中位数 民航货运 1989 临近点的中位数 水运货运 1989 临近点的中位数 二、交通事业发展的各阶段——聚类的方法 根据交通长度、货运、客运三方面的数据，采用系统聚类分析。 步骤（分析——分类——系统聚类，勾选树状图）如下： 按“确定”后，得到以下图形： 注：由于数据缺失，只是归类到1999年 按照解释需要，我们将其归类为三个类别，第一类别为1981~1983年；第二类别为1984~1992年；第三类别为1993~1999年。这反映了交通发展的三个阶段。 通过excel制图得到图一，观测数据。 图1：1981~2002国民生产总值增长的三阶段 通过交通事业发展的三阶段和GDP增长的三阶段，我们试图发展交通发展与国民经济发展之间的关联程度。 三、交通事业发展指标与国民经济的发展关系初探——多重线性回归 交通事业发展衡量的数据有很多，我们选择交通投入、货运总量和客运总量三项指标来讨论与当年GDP之间的关系。 在此之前，先讨论几个变量之间的相关性： 步骤（图形——旧对话框——散点图——矩阵分布） 得到散点图： 由上图可以看出，当年GDP总量与交通投入、货运总量和客运总量有较强的关系。拟合多重线性回归模型。 步骤（分析——回归——线性） ANOVAb Model Sum of Squares df Mean Square F Sig. 1 Regression 2.048E10 3 6.827E9 693.754 .000a Residual 1.673E8 17 9840793.091 Total 2.065E10 20 a. Predictors: (Constant), 客运总计, 货运总计, MEDIAN(交通投入,2) b. Dependent Variable: gdp 可以从上表看出：F=693.754；sig0.0010.05，说明至少一个自变量的回归系数不为0，所建立的回归模型是具有统计学意义的。 在修正客运总计（sig=0.6610.05）的相关性之后得到下表： Coefficientsa Model Unstandardized Coefficients Standardized Coefficients t Sig. B Std. Error Beta 1 (Constant) -8397.031 5789.996 -1.450 .163 MEDIAN(交通投入,2) 16.030 1.131 .870 14.169 .000 货运总计 .016 .007 .136 2.214 .039 a. Dependent Variable: gdp 因此，我们将模型公式写作： Y=-8397.031+16.03*交通投入+0.016*货运总计 附：交通事业发展指标与国民经济的发展关系进一步假设 本文讨论，在多重线性回归之后，我们是否可以尝试进一步深入建立模型，是否可以按照前年交通指标来预测经济发展速度？可惜笔者尝试logistic回归以及多重线性回归未曾成功做得。只能