《应用多元分析》第四版(第十章).ppt

第十章 典型相关分析;§10.1 引言;典型相关分析的应用例子;§10.2 总体典型相关;一、典型相关的定义及导出; 所以 附加约束条件 V(u)=1，V(v)=1 即 a′Σ11a=1，b′Σ22b=1 在此约束条件下，求a∈Rp和b∈Rq，使得 ρ(u,v)=a′Σ12b 达到最大。;令 ，于是约束条件化为 α′α=1，β′β=1 利用柯西不等式(1.8.1)，有 由(1.8.3)式知，当β=β1时， 达到最大 值 ，其中 是非负定矩阵 的最大特征 值，β1相应的单位特征向量。若取;则依 (1.8.1) 式知，不等式(10.2.7)中的等号成立。从而，当取 时，ρ(u,v)=a′Σ12b达到最大值ρ1（显然ρ1≤1）。称 为第一对典型相关变量，称ρ1为第一个典型相关系数。 记m为Σ12的秩，则 从而， 有m个正特征值，记为 ，相应的正交单位特征向量记为 β1,β2,?,βm。 和 都具有相同的非零特征值。;令 则α1,α2,?,αm为 的相应于 的正交单位特征向量；a1,a2,?,am为 的相应于 的特征向量；b1,b2,?,bm为 的相应于 的特征向量。 第一对典型相关变量u1,v1提取了x与y之间相关的最主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型相关变量u2=a′x,v2=b′y，也就是a,b应满足标准化条件且应使得第二对典型相关变量不包括第一对典型相关变量所含的信息，即 ρ(u2,u1)=ρ(a′x,a1′x)=Cov(a′x, a1′x)=a′Σ11a1=0 ρ(v2,v1)=ρ(b′y,b1′y)=Cov(b′y,b1′y)=b′Σ22b1=0 ; 在这些约束条件下使得 ρ(u2,v2)=ρ(a′x,b′y)=a′Σ12b 达到最大。 一般地，第i（1i≤m）对典型相关变量ui=a′x,vi=b′y是指，找出a∈Rp,b∈Rq，在约束条件 a′Σ11a=1，b′Σ22b=1 a′Σ11ak=0，b′Σ22bk=0，k=1,2,?,i?1 下，使得 ρ(ui,vi)=ρ(a′x,b′y)=a′Σ12b 达到最大。 令 ，于是上述约束条件等价于 α′α=1，β′β=1 α′αk=0，β′βk=0，k=1,2,?,i?1 ;由 (1.8.4) 式知，在该约束条件下，当β=βi时， 达到最大值 。若取 则依 (1.8.1) 式，不等式(10.2.7)中的等号成立。所以，当取a=ai,b=bi时，ρ(ui,vi)达到最大值ρi，称它为第i个典型相关系数，称ai,bi为第i对典型系数。 ;12;13;14;15;二、典型相关变量的性质;1.同一组的典型变量互不相关;2.不同组的典型变量之间的相关性;3.原始变量与典型变量之间的相关系数;(10.2.18)式的证明;4.典型相关系数也是某种复相关系数;5.简单相关、复相关和典型相关之间的关系;三、从相关矩阵出发计算典型相关; 于是 因为 所以 式中 ，有 。同理 式中 ，有 。;由此可见， 为x*和y*的第i对典型系数，其第i个典型相关系数仍为ρi，在标准化变换下具有不变性，这一点与主成分分析有所不同。 由于 故x*和y*的第i对典型变量 是x和y的第i对典型变量ui=ai′x，vi=bi′y的中心化值，自然都具有零均值。 例10.2.1 设x,y有如下相关矩阵： 这里|α|＜1, | γ|＜1，可以保证 存在。; 由于11′有惟一的非零特征值1′1=2，故 有惟一非零特征值 在约束条件 下，相应于特征值 的特征向量为 。同理，在约束条件 下，; 相应于特征值 的特征向量为 。所以，第一对典型相关变量为 第一个典型相关系数为 。由于|α|1， |γ|1，故ρ1|β|，表明第一个典型相关系数大于两组原始变量之间的相关系数。;§10.3 样本典型相关;相应的特征向量 作为a1,a2,?,am的估计， 作为b1,b2,?,bm的估计。 的正平方根rj称为第i个样本典型相关系数， 称为第i对样本典型相关变量, i=1,2,?,m。