建模中的统计方法教材.pptVIP

建 模 中 的 统 计 方 法 参考文献： 内容要点： 一、几个案例 二、实用的统计方法 三、几种特殊方法 四、常用的统计软件 五、实例分析 建模方法 实用的统计方法 数据的描述性统计 数据的描述性统计 数据的描述性统计 数据的探索性分析 统计推断 相关分析 相关分析 做散点图 初步判断两个变量间是否存在相关趋势，是否为直线趋势，以及数据中是否存在异常点 计算相关系数 R0正相关，R0负相关 R的绝对值越接近1，表示两个变量愈接近线性关系，R绝对值等于1时，两者为完全线性关系 R的绝对值越接近0，表示两个变量愈没有线性关系，R绝对值等于0时，两者为完全没有线性关系 R的绝对值大于0.8时，视为高度相关R的绝对值介于0.5-0.8时，视为中度相关R的绝对值小于0.3时，视为不相关 方差分析 单因素方差分析 总离差平方和及组内、组间离差平方和 令： 总离差平方和： 组间离差平方和： 组内离差平方和： SST=SSA+SSE 回归分析 回归分析 主成分分析与因子分析 因子分析 因子分析数学模型 正交因子模型： X-m=AF+e 因子分析的方法在于估计S=AA’+Y和Y, 再分解以得到A. 正交模型X=m+AF+e的协方差结构根据前面模型，可得出下面结果： 正交变换T相当于刚体旋转(或反射), 因子载荷A的正交变换AT称为因子旋转估计的协方差阵或相关阵, 残差阵, 特殊方差及共性方差都不随旋转而变.这里“残差阵”为协方差阵或相关阵与估计的AA’+Y之差. 因子旋转的一个准则为最大方差准则. 它使旋转后的因子载荷的总方差达到最大. 如 需要由X=AF变成F=bX. 或Fj=bj1X1+…+ bjpXp j=1,…,m,称为因子得分(函数). 这通常用加权最小二乘法或回归法等来求得. 总结模型X=m+AF+e因子分析的步骤1．根据问题选取原始变量；2．求其相关阵R,探讨其相关性；3．从R求解初始公共因子F及因子载荷矩阵A(主成分法或最大似然法) 4．因子旋转；5．由X=AF到F=bX(因子得分函数) 6．根据因子得分值进行进一步分析. 表2给出了KMO检验和巴特利特球形检验的结果。其 中KMO统计量为0.874接近于1，说明变量间的相关性 极强，因子分析的效果非常好。巴特利特球形检验给 出的相伴概率为0.000小于显著性水平0.05因此拒绝零 假设，认为适合于因子分析。 巴特利特微球度检验以原有变量相关系数矩阵为出发点，其原假设是：相关系数矩阵是单位阵，即相关系数矩阵为对角阵且主对角元素均为1。 巴特利特球度检验的检验统计量根据相关系数矩阵的行列式计算得到，且近似服从卡方分布。如果该统计量的观测值比较大，且对应的概率p-值小于给定的显著性水平，则应拒绝原假设，认为相关系数矩阵不太可能是单位阵，原有变量适合作因子分析；反之，如果检验统计量的观测值比较小且对应的概率p-值大于给定的显著性水平，则不能拒绝原假设，可以认为相关系数矩阵与单位阵无显著差别，原有变量不适合做因子分析。 KMO检验统计量是用于比较变量间简单相关系数和偏相关系数的指标，数学定义为： KMO的统计量取值在0~1之间。当所有变量间的简单相 关系数平方和远远大于偏相关系数平方和时，KMO值接 近1。KMO值越接近1，意味着变量间的相关性越强，原 有变量越适合作因子分析；当所有变量的简单相关系数平 方和越接近0时，KMO值越接近0，KMO值越接近于0，意 味着变量间的相关性越弱，原有变量越不适合作因子分 析。Kaiser 给出了常用的KMO度量标准；0.9以上表示非 常适合；0.8表示适合；0.7表示一般；0.6表示不太适合； 0.5以下表示极不适合。 因子分析和主成分分析的一些注意事项： 应用因子分析法进行分析的步骤如下： 1、根据研究问题选取原始变量； 2、对原始变量进行标准化并求其相关矩阵，分析变量之间的相关性； 3、求解初始公共因子及因子载荷矩阵； 4、因子旋转； 5、因子得分； 6、根据因子得分进行进一步分析 聚类分析 聚类分析 聚类分析的职能是建立一种分类方法，它是将一批样品或变量，按照它们在性质上的亲疏程度进行分类。距离的种类很多，其中欧式距离在聚类分析中用得最广，它的表达式如下： 其中Xik表示第i个样品的第k个指标的观测值，Xjk表示第j个样品的第k个指标的观测值，dij为第i个样品与第j个样品之间的欧氏距离。若dij越小，那么第i与j两个样品之间的性质就越接近。性质接近的样品就可以划为一类。 当确定了样品之间的距离之后，就要对样品进行分类。分类的方法很多，有系统聚类法、模糊聚类法、有序样品聚类法等。主要研究系统聚类法，它是聚类分析中应用最广泛的一种方法。首先将n个样品每个