第八章方差分析与回归分析.doc

第八章 方差分析与回归分析 §1 单因素试验的方差分析 试验指标：研究对象的某种特征。 例 各人的收入。 因素：与试验指标相关的条件。 例 各人的学历，专业，工作经历等与工资有关的特征。 因素水平：因素所在的状态 例 学历是因素，而高中，大学，研究生等，就是学历因素水平；数学，物理等就是专业的水平。 问题：各因素水平对试验指标有无显著的差异？ 单因素试验方差分析模型 假设 影响试验指标的因素只有一个，为，其水平有个：； 每个水平下，试验指标是一个总体。各个总体的抽样过程是独立的。 3），且。 问题：分析水平对指标的影响是否相同 1）对每个总体抽样得到样本，由其检验假设： 原假设，；备选假设：，； 2）如果拒绝原假设，则对未知参数进行参数估计。 注 1）接受假设即认为：各个水平之间没有显著差异，反之则有显著差异。 2）在水平只有两个时，问题就是双正态总体的均值假设检验问题和参数估计问题。 检验方法 数据结构式：，偏差是相互独立的，。不难验证，。 各类样本均值 水平的样本均值：； 水平总样本均值：，； 偏差平方和与效应 组间偏差平方和： ；（衡量由不同水平产生的差异） 组内偏差平方和： ；（衡量由随机因素在同一水平上产生的差异） 总偏差平方和： ；（综合衡量因素，水平之间，随机因素的差异） 定理1（总偏差平方和分解定理） 。 即，或直接证明。 注：利用即可证明。 定理2（统计特性） ，，。 证 定理3 1），且与独立； 2）如果假设成立，那么，；且如果假设，，则还有，。 证 1）由于不同水平的样本间的独立性，较易处理。对固定的， ，，且独立，所以由第五章定理2的结论， ， 利用可加性，即得，且与独立。 注意到，因此也与独立，从而也与独立。 注 这里只需方差假设相同，不需要假设均值相同。 2），且独立，同样利用第五章定理2， 。 但在假设成立时，，即得结论。且与独立。 同时，。 注 此处结论证明利用了都相等，即利用：。但上述结论在组样本容量不同时，直接利用正交变换仍可类似证明。 从统计角度看，如果假设成立，那么，而在假设不成立时，，即统计量将有偏大的趋势。那么，大到何值可以采信为推翻假设的反例，就回到前面的假设检验问题了。 定理 置信度为时，假设的检验问题的拒绝域为。 参数估计问题 如果各因素有显著差异，即对某些水平，那么就需要估计这些参数的值和。 1．最大似然估计 总体，密度函数为，所以最大似然函数为 ， 一般，我们把分成两部分：，其中。 所以即表示了各水平的差异，有。 由此最大似然函数可表示为， 。 对数最大似然函数： ， 约束条件： 。 求其最大值点得： ， 即：；或，。 ， （是拉格朗日乘子） 即；或，； ， 即，或，， 整理结果得： ，。 由此利用，解得。因此。 所以， 同时， ， 因此 。 2．区间估计 第个水平的均值：，即；且与其独立，所以 。 即可得到置信区间： 。 但，必须注意，对整个问题而言，置信水平不再是。记事件 。 则。但。 §2 一元线性回归 设有两个总体，它们之间不是独立的，而是具有某种依赖关系，即对它们抽样，得到的是一对样本和观测值：，。 例 父子的身高；某种动物体重和体积，等等。 现在关心的问题是：从观测的结果，能否找出它们之间的联系？即 ，其中是随机变量。 从实际问题出发，也可认为是非随机的确定自变量，本来两者之间应该有确定的函数关系，但由于某种干扰，这种关系产生了某种不确定性。如何合理地确定其关系？ 一元线性回归模型 假设 1）； 2）。 每次抽样，，其中，且相互间是独立。 等价的观点：。 问题 由样本观测数据，如何合理估计参数？ 方法 确定性观点：最小二乘法 ， 使观测得到的的样本平方和偏差最小。 解 记，，， ，。 求偏导得，解方程组得， ， 即，因此解为： 。 随机观点：最大似然估计 最大似然函数。 因此，由，即得类似结论。 注 把是确定值，则都是关于的统计量。所以，在不代入观测值时，也都是随机变量。 有结论， 定理 （1），； （2）； （3）。 证：，显然服从正态分布， 。 类似，也服从正态分布，且 ， 。 最后，是正态分布显然成立， ， 该定理表明，上述参数估计都是无偏的，但要提高有效性，即减小其方差，就要和足够大。 回归方程的显著性检验 如果回归方程中，那么即说明和不具有线性关系，就称回归方程不显著；否则，就称其是显著的。 显著性检验 ：；： （我们是准备接受结论的，以进行后面的工作；但是，如果直接把其作为原假设，所谓接受该假设，意思是说，成立时，没有出现小概率事件，就是说对该次抽样，不能否定。所以，对自已的主张一般不作为原假设。我们把其对立面作为原假设，意思是说，如果小概率事件出现，就有理由认为该假设