应用多元分析》ppt十.pptx

§10.1 引言典型相关分析（canonical correlation analysis）是研究两组变量之间相关关系的一种统计分析方法，它能够有效地揭示两组变量之间的相互线性依赖关系。典型相关分析是由霍特林（Hotelling,1935,1936）首先提出的。§10.2 总体典型相关一、典型相关的定义及导出二、典型相关变量的性质三、从相关矩阵出发计算典型相关一、典型相关的定义及导出设x=(x1,x2,?,xp)′和y=(y1,y2,?,yq)′是两组随机变量，且V(x)=Σ11(0)，V(y)=Σ22(0)，Cov(x, y)=Σ12，即有 其中Σ21=Σ12′。我们研究u=a′x与v=b′y之间的相关关系，其中a=(a1,a2,?,ap)′，b=(b1,b2,?,bq)′ 现来计算一下u与v的相关系数。Cov(u,v)=Cov(a′x,b′y)=a′Cov(x,y)b=a′Σ12bV(u)=V(a′x)=a′V(x)a=a′Σ11aV(v)=V(b′y)=b′V(y)b=b′Σ22b 所以，u与v的相关系数 由于对任意非零常数k1和k2，有ρ(k1u,k2v)=ρ(u,v) 因此，为避免不必要的结果重复，我们常常限定u与v均为标准化的变量，即附加约束条件V(u)=1，V(v)=1 即a′Σ11a=1，b′Σ22b=1 在此约束条件下，求a∈Rp和b∈Rq，使得ρ(u,v)=a′Σ12b 达到最大。容易证明， 有着相同的非零特征值，且皆为正，其个数为m=rank(Σ12)。将这些正特征值分别记为 。设a1,a2,?,am为 的相应于 的特征向量，且满足标准化条件ai′Σ11ai=1，i=1,2,?,m 令 ，则有 从而b1,b2,?,bm为 的相应于 的特征向量，并且满足可以证明，当取a=a1,b=b1时，ρ(u,v)=a′Σ12b达到最大值ρ1(显然ρ1≤1)。我们称u1=a1′x，v1=b1′y 为第一对典型相关变量，称ρ1为第一个典型相关系数第一对典型相关变量u1,v1提取了原始变量x与y之间相关的主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型相关变量u2=a′x,v2=b′y，也就是a,b应满足标准化条件且应使得第二对典型相关变量不包括第一对典型相关 变量所含的信息，即ρ(u2,u1)=ρ(a′x,a1′x)=Cov(a′x, a1′x)=a′Σ11a1=0ρ(v2,v1)=ρ(b′y,b1′y)=Cov(b′y,b1′y)=b′Σ22b1=0 在这些约束条件下使得ρ(u2,v2)=ρ(a′x,b′y)=a′Σ12b 达到最大。一般地，第i(1i≤m)对典型相关变量ui=a′x,vi=b′y是指，找出a∈Rp,b∈Rq,在约束条件a′Σ11a=1，b′Σ22b=1a′Σ11ak=0，b′Σ22bk=0，k=1,2,?,i?1 下，使得ρ(ui,vi)=ρ(a′x,b′y)=a′Σ12b 达到最大。当取a=ai,b=bi时，ρ(ui,vi)达到最大值ρi，称它为第i个典型相关系数，称ai,bi为第i对典型系数。二、典型相关变量的性质1.同一组的典型变量互不相关2.不同组的典型变量之间的相关性3.原始变量与典型变量之间的相关系数4.简单相关、复相关和典型相关之间的关系1.同一组的典型变量互不相关设x,y的第i对典型变量为ui=ai′x，vi=bi′y， i=1,2,?,m 则有V(ui)=ai′Σ11ai=1，V(vi)=bi′Σ22bi=1，i=1,2,?,mρ(ui,uj)=Cov(ui,uj)=ai′Σ11aj=0，1≤i≠j≤mρ(vi,vj)=Cov(vi,vj)=bi′Σ22bj=0，1≤i≠j≤m2.不同组的典型变量之间的相关性 ρ(ui,vi)=ρi，i=1,2,?,m记u=(u1,u2,?,um)′，v=(v1,v2,?,vm)′，则上述两个性质可用矩阵表示为V(u)=Im，V(v)=Im，Cov(u,v)=Λ 或 其中Λ=diag(ρ1,ρ2,?,ρm)。3.原始变量与典型变量之间的相关系数记A=(a1,a2,?,am)=(aij)p×mB=(b1,b2,?,bm)=(bij)q×m 则Cov(x,u)=Cov(x,A′x)=Σ11ACov(x,v)=Cov(x,B′y)=Σ12BCov(y,u)=Cov(y,A′x)=Σ21ACov(y,v)=Cov(y,B′y)=Σ22B 上述四个等式也可表达为i=1,2,?,q，j=1,2,?,m 所以4.简单相关、复相关和典型相关之间的关系当p=q=1时，x与y之间的（惟一）典型相关就是它们之间的简单相关；当p=1或q=1时，x与y之间的（惟一）典型相关就是它们之间的复相关。可见，复相关是典型相关的一个特例，而简单相关是复相关的一个特例