第二章 原始数据的处理方法.doc

原始数据的处理方法 原始数据的处理是数据分析中极为重要的内容。在本节中，我们将介绍原始数据的来源及其特点，着重阐述原始数据初始变换的几种方法，并利用例子进行演示。 第一节 原始数据的来源及其特点 原始数据一般包括反映自然资源区域特征，如海况、气象、水文、地形、地貌、动植物等；反映区域社会经济条件和生产力水平，如人口及其人口密度、捕捞劳力、海域面积、渔船数量、渔船功率以及渔业总产值、捕捞产值、养殖产值等。原始数据按其性质大体可分为（1）科学实验和观测数据；（2）社会经济统计数据；（3）生产经验数据；（4）有关部门的决策和目标数据；（5）定性资料的量化数据等。 不同的数据有不同的来源。但归纳起来，主要的来源有：（1）国家统计部门和行业部门的历年统计资料，这些多为社会经济指标；（2）有关业务部门的历年观测数据及其科学实验报告，这些多数为自然因素指标，如东海区渔业资源和环境观测数据；（3）选择有代表性的单位或年度，进行实地典型调查所得的数据；（4）区域规划部门通过收集、调查、观察和计算积累的数据；（5）调查访问有实践经验的劳动者、生产技术人员、科研人员以及管理人员所得的数据；（6）国家有关部门制定的发展规划、建设方案等决策数据；（7）其它方面的数据。我们将以上所获得的各种资料和数据成为原始数据。这些数据来源不同，其类型也不同。 从利用分析的角度来看，这些数据有以下几个主要特点： （1）（2）（3）（4）（1）（2）（3）（4）（1）（2）（3）（4）= （i=1，2，…，N样点数；j=1，2，…，P变量数） 式中：为变换后的数据； Xij为原始数据； 为第j变量的算术平均值，即=； Sj为变量j的标准差，即Sj=。 变换后的各变量数据平均值为0，方差为1，呈标准正态分布，各变量间有了统一的量纲，而两个变量在变换前后的相关程度不变。从几何意义上讲，标准化变换相当于座标原点移至重心（即平均值）位置，标准化变换适用于量纲不同且数量级大小不一的连续性数据。 我们现在以陈新军的博士学位论文《渔业资源可持续利用评价》实证分析中有关数据进行说明。1978－1984年东海区渔业资源可持续利用系统的资源环境子系统如下： 年份 1978 1979 1980 1981 1982 1983 1984 X1 2.64 2.72 2.73 2.72 2.64 2.63 2.54 X2 63.19 59.12 46.48 51.06 48.18 38.6 41.03 X3 43.6 41.1 56.9 58.5 62.2 64.5 67.7 X4 69.785 59.446 51.047 43.156 36.684 29.152 24.835 X5 2.609 2.244 1.547 1.479 1.435 1.299 1.258 X6 1.178 1.05 1.038 0.956 0.935 0.875 0.891 其中：X1为渔获物的营养级，单位为级；X2为优质鱼类产量占海洋捕捞产量的比重，单位为％；X3为非选择性渔具捕捞产量占海洋捕捞产量的比重，单位为％；X4为单位机动渔船的平均捕捞产量，单位为吨/艘；X5为机动渔船每吨位的平均捕捞产量，单位为吨/船吨位；X6为机动和非机动渔船每千瓦的平均捕捞产量，单位为吨/千瓦。 在资源环境子系统中，各评价指标的单位不一样，因此需要进行初值化。现分别求出序列X1、X2、X3、X4、X5和X6的平均值及其标准差。 则数据变换为： 其他数据变换类同。 则获得经过变换后的资源环境子系统的各个序列： 年份 1978 1979 1980 1981 1982 1983 1984 X’1 -0.29 0.86 1.00 0.86 -0.29 -0.43 -1.71 X’2 1.51 1.05 -0.36 0.15 -0.17 -1.23 -0.96 X’3 -1.25 -1.49 0.05 0.21 0.57 0.79 1.11 X’4 1.53 0.90 0.38 -0.11 -0.50 -0.97 -1.23 X’5 1.75 1.05 -0.29 -0.43 -0.51 -0.77 -0.85 X’6 1.71 0.55 0.44 -0.31 -0.50 -1.05 -0.90 （二）极差变换 计算公式为： = 式中：为变换后的数据； Xij为原始数据； Xjmax为第j变量原始数据的最大值； Xjmin为第j变量原始数据的最小值。 极差变换后的数据有了统一的量纲，其最大值为1，最小值为0，所有数据变化在0~1之间。变换前后两两变量之间的相关程度不变，其几何意义相当于把座标原点移至最小值位置。极差变换适用于量纲不同、数量大小不一的连续型的原始数据的变换。 同样以上述例子进行分析。先求出各个指标的