非参数-第八章.docVIP

第八章 相关分析 变量之间的相关程度用相关系数度量，最常用的相关系数是Pearson矩相关系数。它广泛地用于回归与相关分析问题，但这个相关系数有它的局限性。下面列举它的两个局限性。 ①矩相关系数可用来检验变量之间是否独立，并有检验的临界值表供使用。事实上，这个检验方法属于参数数据分析方法，它的临界值表是在变量服从正态分布的假设下制作的。如果正态分布的假设有疑问，其检验结果显然不可信，甚至可能是错的。所以有必要引入非参数型的度量变量之间相关程度的统计量，以及检验变量之间是否相互独立的非参数方法。 ② 关于相关性一般来说有下面两个定义。 第一个定义给出的是线性相关性。若存在常数和正常数，使得，其中是随机误差(通常假设，或，)，则称变量与线性正相关。若是负常数，则称变量与线性负相关。 第二个定义给出的是通常意义下的相关性。当增加时有增大的趋势，则称变量与正相关。当增加时有减少的趋势，则称变量与负相关。显然，若变量与线性正相关，则当增加时有增大的趋势。而若与线性负相关，则当增加时有减少的趋势。所以线性相关性隐含着相关性。反之不一定成立。 矩相关系数用来度量变量之间的线性相关性。当变量与的矩相关系数的绝对值比较小的时候，只是说与之间没有线性相关关系，并不能说当增加时没有增大或减少的趋势。在与的矩相关系数接近0的时候，有可能存在这样一个严格单调上升或下降的函数，使得与的矩相关系数接近1或接近。这就是说与之间有线性相关关系。所以有可能存在这样一种情况，与之间没有线性相关关系，但与之间有线性相关关系。这说明在与的矩相关系数接近0的时候，当增加时仍可能有增大或减少的趋势。由此可见，变量与的矩相关系数只能用来度量它们之间的线性相关性，不能用来度量它们之间的相关性。很自然地，人们希望有这样一个统计量，可以用来度量变量之间的相关性，并且用它度量与的相关程度得到的度量值等于用它度量与的相关程度得到的度量值，其中为任意一个严格单调上升的函数。 本章§8.1介绍的Spearman秩相关系数和§8.2介绍的Kendall–相关系数都是非参数型的，都可以用来度量变量之间的相关性，并且与之间这两个相关系数值分别等于与之间这两个相关系数值，其中为任意一个严格单调上升的函数。本章§8.3介绍Kendall协和系数，它是Spearman秩相关系数的推广。 §8.1 Spearman秩相关系数 最为著名的秩方法是1945年F.Wilcoxon提出的秩和检验,而1904年C.Spearman提出的秩相关系数是秩方法的开始。 §8.1.1 秩相关系数的计算过程 设有成对数据 (8.1) 它的秩相关系数的计算过程如下： ① 记在中的秩为，在中的秩为，。为简化讨论，不妨假设在，以及在中都没有重复的观察值，则，。Spearman秩相关系数的基本思想就是用和分别代替和，构造一个新的成对数据 (8.2) ② 计算成对数据(8.2)的矩相关系数 其中，。由于 所以 (8.3) 称为成对数据(8.1)的秩相关系数。显然，在为严格单调上升函数时，与 的秩相关系数相等，所以秩相关系数可用来描述两个变量有没有同时上升(下降)，或一个上升、一个下降的趋势。 例8.1 设有成对数据 它的矩相关系数。假设这个成对数据的总体为。由矩相关系数检验临界值表知，在时5%和1%的临界值分别为0.666和0.798，所以我们认为X与Y没有线性相关性，它们相互独立。事实上，从这批数据的散点图(见图8.1)看，它们似乎正相关，当增加时有增大的趋势。正如我们前面所说的，矩相关系数检验是基于总体服从正态分布的假设，在不能确定总体是否服从正态分布时，采用矩相关系数作检验是不妥的。我们应考虑使用非参数方法。经计算，这个成对数据的秩相关系数。秩相关系数比较大，但它有没有大到我们可以认为X与Y正相关？这就是下面将要讨论的秩相关系数的检验问题。 图8.1 散点图 §8.1.2 秩相关系数检验 设成对数据(8.1)为独立同分布的样本。不妨假设它们的总体是连续型随机变量，在，以及在中都没有重复的观察数据。记在中的秩为，；记在中的秩为，。与之间独立还是相关的检验问题的原假设和备择假设分别为 和相互独立，和正相关，或和负相关 取成对数据(8.1)的秩相关系数为检验统计量。由(8.3)式知，秩相关系数的性质与有关。下面首先讨论的性质，然后由它导出秩相关系数的性质。 在我们所讨论的众多性质中，最为关键的是下面这一个性质。 性质8.1在原假设为真，即与相互独立时，与同分布：