《应用多元分析》第四版PPT(第十章).ppt

第十章 典型相关分析 §10.1 引言 §10.2 总体典型相关 §10.3 样本典型相关 §10.4 典型相关系数的显著性检验 §10.1 引言 典型相关分析（canonical correlation analysis）是研究两组变量之间相关关系的一种统计分析方法，它能够有效地揭示两组变量之间的相互线性依赖关系。 典型相关分析是由霍特林（Hotelling,1935,1936）首先提出的。 典型相关分析的应用例子 在工厂里，考察产品的q个质量指标(y1,y2,⋯,yq)与原材料的p个质量指标(x1,x2,⋯,xp)之间的相关关系； 牛肉、猪肉的价格与按人口平均的牛肉、猪肉的消费量之间的相关关系； 初一学生的阅读速度、阅读才能与数学运算速度、数学运算才能之间的相关关系； 硕士研究生入学考试的各科成绩与本科阶段一些主要课程成绩之间的相关关系； 一组政府政策变量与一组经济目标变量之间的相关关系。 §10.2 总体典型相关 一、典型相关的定义及导出 二、典型相关变量的性质 三、从相关矩阵出发计算典型相关 一、典型相关的定义及导出 设x=(x1,x2,⋯,xp)′和y=(y1,y2,⋯,yq)′是两组随机变量，且V(x)=Σ11(0)，V(y)=Σ22(0)，Cov(x, y)=Σ12，即有 其中Σ21=Σ12′。 我们研究u=a′x与v=b′y之间的相关关系，其中 a=(a1,a2,⋯,ap)′，b=(b1,b2,⋯,bq)′ Cov(u,v)=Cov(a′x,b′y)=a′Cov(x,y)b=a′Σ12b V(u)=V(a′x)=a′V(x)a=a′Σ11a V(v)=V(b′y)=b′V(y)b=b′Σ22b 所以 附加约束条件 V(u)=1，V(v)=1 即 a′Σ11a=1，b′Σ22b=1 在此约束条件下，求a∈Rp和b∈Rq，使得 ρ(u,v)=a′Σ12b 达到最大。 令 ，于是约束条件化为 α′α=1，β′β=1 利用柯西不等式(1.8.1)，有 由(1.8.3)式知，当β=β1时， 达到最大 值 ，其中 是非负定矩阵 的最大特征 值，β1相应的单位特征向量。若取 (10.2.7) 则依 (1.8.1) 式知，不等式(10.2.7)中的等号成立。从而，当取 时，ρ(u,v)=a′Σ12b达到最大值ρ1（显然ρ1≤1）。称 为第一对典型相关变量，称ρ1为第一个典型相关系数。 记m为Σ12的秩，则 从而， 有m个正特征值，记为 ，相应的正交单位特征向量记为 β1,β2,⋯,βm。 和 都具有相同的非零特征值。 令 则α1,α2,⋯,αm为 的相应于 的正交单位特征向量；a1,a2,⋯,am为 的相应于 的特征向量；b1,b2,⋯,bm为 的相应于 的特征向量。 第一对典型相关变量u1,v1提取了x与y之间相关的最主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型相关变量u2=a′x,v2=b′y，也就是a,b应满足标准化条件且应使得第二对典型相关变量不包括第一对典型相关变量所含的信息，即 ρ(u2,u1)=ρ(a′x,a1′x)=Cov(a′x, a1′x)=a′Σ11a1=0 ρ(v2,v1)=ρ(b′y,b1′y)=Cov(b′y,b1′y)=b′Σ22b1=0 在这些约束条件下使得 ρ(u2,v2)=ρ(a′x,b′y)=a′Σ12b 达到最大。 一般地，第i（1i≤m）对典型相关变量ui=a′x,vi=b′y是指，找出a∈Rp,b∈Rq，在约束条件 a′Σ11a=1，b′Σ22b=1 a′Σ11ak=0，b′Σ22bk=0，k=1,2,⋯,i−1 下，使得 ρ(ui,vi)=ρ(a′x,b′y)=a′Σ12b 达到最大。 令 ，于是上述约束条件等价于 α′α=1，β′β=1 α′αk=0，β′βk=0，k=1,2,⋯,i−1 由 (1.8.4) 式知，在该约束条件下，当β=βi时， 达到最大值 。若取 则依 (1.8.1) 式，不等式(10.2.7)中的等号成立。所以，当取a=ai,b=bi时，ρ(ui,vi)达到最大值ρi，称它为第i个典型相关系数，称ai,bi为第i对典型系数。 二、典型相关变量的性质 1.同一组的典型变量互不相关 2.不同组的典型变量之间的相关性 3.原始变量与典型变量之间的相关系数 4.典型相关系数也是某种复相关