聚类分析与单因素方差分析简介.pptVIP

初步分析： 1、思考：如果指标存在不同单位，例如收入（单位：元）、重量（单位：吨）、体积（单位：立方米）等 如何处理？?标准化 2、如何衡量样本的相似性？ 图示1：选2指标做平面图 图示2：所有指标折线图（但样本只选几个代表，如云南、贵州、四川、北京、上海、甘肃等） 比较得出结论：距离相似性、曲线相似性（用相关系数或夹角余弦衡量） 方法： 样本间距离——采用平方欧氏距离； 类间距离 ——采用组间平均距离连接法 此时，距离越小越相似！5、6最相似 类间距离——采用组间平均距离连接法 5.贵州 6.云南 4.四川 293.04 219.37 均值256.205 类间距离——采用组间平均距离连接法 图表阅读说明： 以stage 2为例 地区5在stage 1中出现过; stage 2这里的类，下一次将在第5步再次参与聚类，衔接地区是地区4 类似进行下去，可得聚类谱系图（树状图） 3、聚类过程与方法 构造关系矩阵 数据预处理 确定最佳分类 标准化 亲疏关系的描述 聚类 根据不同方法进行分类 类别数 1 2 3 4 （4）谱系分类的确定 经过系统聚类法处理后，得到聚类树状谱系图，Demirmen(1972)提出了应根据研究的目的来确定适当的分类方法，并提出了一些根据谱系图来分类的准则： 任何类都必须在临近各类中是突出的，即各类重心间距离必须极大 确定的类中，各类所包含的元素都不要过分地多 分类的数目必须符合实用目的 若采用几种不同的聚类方法处理，则在各自的聚类图中应发现相同的类 28个地区聚类图 二、方差分析 (ANOVA) (Analysis of Variance) 1、方差分析(ANOVA)引例 例2、某电器公司用四种不同配料方案生产出四批元件，在每一批元件中取出若干个分别装在整机中作寿命试验，得到如下数据(单位：小时) 元件 A1 1600 1610 1650 1680 1700 1720 1800 A2 1580 1640 1640 1700 1750 A3 1460 1550 1600 1620 1640 1660 1740 1820 A4 1510 1520 1530 1570 1600 1680 考察用不同的配料方案所生产的元件，其使用寿命有没有显著差异？ 方差分析示例 思考1：这类分析有何作用？ ?找出影响较大的因素，进行优化。 思考2：如何找出影响因素？ ?可先尝试探索性分析，如下图 思考3：产生数据差异的原因？ 数据差异 配料不同 思考4：同一配料方案下(条件相同)，寿命仍有差异的原因？ 即 条件不同 随机因素 数据差异 配料不同 随机因素 条件误差 随机误差 误差分解 条件变化对考察指标(元件寿命)影响不显著 条件变化对考察指标(元件寿命)有 显著影响 方差分析的基本思想： 数据差异 条件误差 随机误差 误差分解 2、单因素方差分析 只考察一个因素的变化对试验指标的影响，称为单因素方差分析。 通常，在单因子试验中，记因子为 A, 设其有s个水平，记为A1, A2,…, As。 在每一水平下考察的指标可以看成一个总体 ，现有 s 个水平，故有 s个总体， 假定： 每一总体均为正态总体，记为 N(?i ,? i 2)，i＝1, 2,…, s ； 各总体的方差相同: ? 1 2=? 22=…=? s2 =? 2 ； 从每一总体中抽取的样本是相互独立的， 即所有的试验结果 xij 都相互独立。 要比较各水平下的均值是否相同, 即要对如下的一个假设进行检验: H0 ：?1 =?2 =…=?s （2.1） 备择假设为 H1 ：?1, ?2, …, ?s 不全相等 在不会引起误解的情况下， H1 通常可省略不写。 离差平方和分解 单因素方差分析中可将试验数据列成如下形式： 样本组均值 样本总均值 数据间是有差异的。数据 与总平均 间的偏差可用 表示，它可分解为二个偏差之和 组内离差(偏差) 组间离差(偏差) 反映组内数据与组内平均的随机误差 反映第i个水平的效应 在统计学中，常用离差平方和来度量若干个数据分散的程度，记 总离差平方和 组内离差平方和 组间离差平方和 可证： 离差平方和分解 由抽样分布定理： 方差分析由来： 统计量由方差之比构造 离差平方和的统计性质及显著性检验 分析： 若因素A的变化对试验的影响显著，则分子应比分母大得多，从而统计量F的值较大； 若因素对试验结果的影响