14典型相关分析.pptVIP

* * * * * * * * * * 第二十讲 多元相关（续） 一、主成分分析 二、因子分析 三、典型相关分析 三、典型相关分析 典型相关分析是一种研究两个随机向量的 相关关系的统计方法。类似于主成分分析，它 是将两个随机向量的相关变为两个新随机变量 之间的相关来进行讨论，同时又尽可能保留原 变量的信息，即就是分别对两个随机向量构造 其分量的线性组合，并使两个线性组合所形成 为典型相关，形成的两个新变量为典型变量。 进而还可以在原两个随机向量中找出第二对线 性组合，使其与第一对线性组合不相关，而第 二对变量间又具有最大相关性。如此继续进行 下去直到两个随机向量间的相关性被提取完毕 为止。 两个随机变量具有最大的相关性，称这种相关 （一）典型相关和典型变量 假设有两个随机向量 且 令 并将 改写成分块 矩阵 其中 是 与 之间的协方差阵。 显然，当 时，有 成立。 令 其中 与 是两个待定的常向量，它们的选取原 则是在 与 已知的条件下，使得 与 的相 关系数达到最大。 由于 不妨假设 因此所讨论的问题 就转化为在约束 和 下求 与 ，使得目标函数 达到最大。 定理1 在满足约束条件 和 下，使得相关系数 达到最大的 与 是齐次线性方程组 的非零解，其中 是矩阵 (或矩阵 )的最大特征根。 设已求出矩阵 的特征根为 由定理1可知，第一对典型相关变量为 其中 与 满足 且 此时， 与 的相关系数为 重复以上过程可得第 对典型相关变量 与 满足 且 同样地有 即各对典型变量间是不相关的。 总结以上，可得求典型变量的过程如下： 1. 求矩阵 的特征值，记为 对应的单位特征向量为 3. 第 对典型相关变量为 2. 令 2典型相关系数 典型相关系数思想： X1 Y1 Y2 Y3 Y4 Y5 X2 X3 X4 X5 X6 U1 U2 U3 U4 U5 V1 V2 V3 V4 V5 CanR1 CanR2 CanR3 CanR4 CanR5 （二）典型相关系数和典型相关变量的估计 在实际问题中，总体的均值 和 协方差阵 往往未知，应由 与 的样本 这时总体均值和协方差阵的估计分别为 若 的秩为 ，非零特征根记为 对应的单位特征向量为 取 则第 对样本典型变量为 第 对样本典型变量的相关系数为 注：无论总体的均值和协方差阵是已知或未知， 若 分量的量纲不同或取值差异很大， 可考虑 标准化变量，再重复前面的方 法可求出标准化变量的典型变量，不再赘 述。 找到了 与 的典型变量后，进一步的工作 就是分析典型变量的实际意义，这只能结合具 体的实际例子才能给出合理的解释。 例 对 个16岁的男孩进行体格检查，将 身高 和坐高 作为第一组变量，将体重 和 胸围 作为第二组变量，记 已知其样本协方差阵为 试对 与 进行样本典型相关分析。 解 经计算可求得矩阵 特征根为 再求对应的单位特征向量 ，由 可得 于是可得第一对样本典型变量为 对应的样本的典型相关系数为 这表 明身高与坐高之和同体重与胸围之差有较大的 依赖关系。 例 家庭特征与家庭消费之间的关系 为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量： 分析两组变量之间的关系。 ? X1 X2 y1 y2 y3 X1 1.00 0.80 0.26 0.67 0.34 X2 0.80 1.00 0.33 0.59 0.34 y1 0.26 0.33 1.00 0.37 0.21 y2 0.67 0.59 0.37 1.00 0.35 y3 0.34 0.34 0.21 0.35 1.00 变量间的相关系数矩阵 典型相关分析 ? 典型相 关系数 调整典型 相关系数 近似方差 ? 典型相关系数的平方 1 0.687948 0.687848 0.005268 0.473272 2 0.186865 0.186638 0.009651 0.034919 X组典型变量的系数 ? U1 U2 X1(就餐） 0.7689 -1.4787 X2（电影） 0.2721 1.6443