SAS实验_因子分析_聚类分析.docxVIP

SAS数据挖掘与应用实验报告实验要求：1. 选择经济领域中的一个问题，确定相关的分析变量，描述通过数据挖掘来探究（或解释、或解决）问题的逻辑思路，说明预期的结果（结论）等。?2. 查询和搜集相关原始数据?3. 整理、准备数据，建立数据集?4. 采用二种或二种以上的挖掘方法，或进行对比分析，或先后进行多个阶段的分析。?5. 对挖掘结果进行分析和说明。?6. 总结研究结论或结果。?实验目的：熟悉SAS软件操作练习SAS编程学习并练习描述性统计分析、因子分析、聚类分析等方法与实际操作研究实际问题问题描述：“三农”问题是我国现阶段大力需要解决的问题之一，如何拉动农村经济发展，提高农民收入已成为社会关注的焦点。为了解决三农问题，首先应当了解现阶段我国各地农民的生活水平，了解农村人均消费支出的情况。因此，我们希望通过分析农村人均消费支出的各项指标，来研究各地农民的整体消费水平和消费结构，以及各地农村人口消费水平和结构的差异。解决思路：为了研究上述问题，我们应当以近年的各地区农村人均生活消费支出相关数据为数据源，通过描述性统计分析对整体数据进行初步了解；并在因子分析的基础上进行聚类分析，对各地区依据消费水平的高低进行分类；还可以参数检验判断不同地区的农民生活水平是否存在差异；若引入时序数据，则可进一步进行关联分析，预测某些地区未来的消费结构变化。本人会在数据分析的基础上，结合实际进行分析，解释数据结果的实际意义。由于精力有限，此次实验本人计划主要进行三项数据分析：描述性分析基于主成分法的因子分析在因子分析的基础上，用Cluster和Tree过程进行聚类分析注：部分内容为参考教材自学，理解可能不甚透彻，若有错误恳请老师指出。实验过程：1.搜集数据通过搜索相关数据库，得到2008年我国各地区农村人均生活消费支出的相关数据，共包括我国31个省市自治区，设计8个方面的人均消费支出。2.数据准备和预处理首先建立数据集，我将数据存在D:\mydata.txt中。此处编写SAS程序来实现INPUT数据。解释：将原始数据读入到SAS数据集中，并在结果窗格中显示。我们建立了数据集expend，利用infile语句读入外部数据文件，假定数据包含在D盘根目录下的mydata.txt中，选项delimiter=’09’x表示分隔符为制表符，firstobs=2，表示从第二行开始读入，input district $，district表示地区，为字符型变量，x为总支出，x1-x8分别表示8项消费指标，再利用label语句加标签明确其含义。最后用print在结果窗口中显示。如图：注：右上角的制表时间是由于时间跳过程序修改造成的，后同。3.描述性统计分析①单变量分析：首先要对数据的基本情况有一个初步的了解，因此先进行单变量分析。再次我们利用means过程计算一些描述性统计量，编写程序如下：解释：proc语句指定运行means过程，并指出分析的数据集为expend，maxdec=2表示计算的描述统计量保留两位小数，然后指定要计算的统计量为：均值、标准差、最大值、最小值、极差、变异系数、偏度。之后指定要分析的变为量x, x1-x8。运行结果如下：分析：（1）总支出为3807.82元，可以看出农民的生活水平总体来说还是较低的，改善农民生活仍然任重道远。变量x的标准偏差为1578.54，然而最大值为9119.67，最小值为2165.70，极差达到6953.97元，说明各地区农民生活水平差异很大，贫富差距明显，地区发展不平衡。变量x的偏度为2.080，说明为正偏态，均值左边集中右边分散，说明我国大部分地区的农村消费支出仍然处于中低水平，高消费支出的地区较少，但是消费额很高。（2）从变异系数来看，x6文教娱乐的变异系数达到了61.53，x4家庭设备、x5交通通信、x7医疗保健的变异系数也都超过了50，说明各地区在文教、家庭设备、医疗保健等方面存在较大的相对差异。②相关系数分析和P值检验鉴于x是x1-x8的线性表示，之后我们只分析x1-x8。此步利用corr过程计算变量间的相关系数，代码如下：选中运行结果的第三张表，pearson相关系数检验表，如图：分析：x与其余8个变量均高度相关，相关系数都在0.8以上，而企鹅他很多变量之间的相关系数都在0.7以上，且显著性检验的p值多很小，表明各变量间存在较强的相关性，反应的信息有所重叠，这启发我们可以做聚类分析、关联分析，而在此之前，我们先利用主成分法做因子分析，对数据进行降维处理。4.因子分析①主成分分析模型与介绍：用元变量的线性组合提取数据中的信息，当第一个线性组合不能提取足够多的信息时，再用第二个线性组合来继续提取，如此进行下去，知道所提取的信息与原变量反应的信息差不多为止。判定条件是，利用变量的来描述，如果综合指标的方差接近于原来变量