关于Pearson相关系数的点滴思考.docVIP

关于Pearson相关系数的点滴思考2012年春季那个学期，我在沙河给八系10级的同学讲《应用统计学》。这个班同学的学习积极性都非常高，他们的理解能力很强，还特有创造性思维。所以整个这个学期，我们相处得非常愉快。 作为一名老教师，这门课程我真的是讲过n多遍了。看得出来，同学们都很信任我。但是，我真的是都明白了吗？我总告诉学生要知道、悟道、做到。然而，做老师的我，对于课本上这些经典内容，自己已经彻底悟道了吗？下面就说说孩子们对我的挑战和启示吧。 冯乾同学是班上的小班长。在我的印象中，他总是坐在很靠前面的位置，神情安静而专注。然而，有一天，他突然举手站起来问我：“Pearson创造相关系数的原始动机是什么？”看着他那么执着追问的眼神，这一时间我竟然无语。 作为一个应用统计学教师，我非常熟悉Pearson相关系数的公式，还自认为对它的几何含义有点儿独到见解（上课时常常秀的）。但是，确实是啊！如果在100多年前，假如你是Pearson，当你看见两类数据出现相随变动的规律时，怎样才能构造出一个指标，来测度这种“变量之间的相关性呢？”。而更加关键的是，你发明的这个指标，怎样会得到全世界人民的普遍认同呢？这个问题，此前我确实从来没有想过。 2012年的暑假，我和冯乾同学一起讨论过几次，虽然并没有从历史文献入手，寻找Pearson发明相关系数的思想轨迹，但是我们假设自己遇到这个问题后，如何设计所有的计算环节。换句话说，我们努力猜想和分解，在Pearson相关系数公式中，每一个计算片段它在反映相关规律过程中的必要意义。我们一点一滴地质疑，是不是所有的计算部分都是必须的？这是最简单干净的方法吗？哈，我已经把冯乾同学论文创作的思维轨迹透露得差不多了，他还没有发表，所以就此打住吧。 卢珊同学是一个非常聪慧和思维独到的女孩。这个暑假，我们曾一起认真讨论过相关系数矩阵的内涵问题。因为几乎在所有的教科书（还有很多专著）上都会指出，变量集合的高度相关性会给回归分析等模型带来很大的危害。而变量集合之间的相关性却是十分复杂的。在多变量的相关系数矩阵中，有时两个变量的相关性看起来不大，但是它们之间仍有可能存在极高的相关性！（参见下面思考题2）。唉，这真是太令人费解和无奈了。而就是这句“十分复杂”，却让我止步在真相探索的大门之外长达10余年的时间。然而，这个夏天，卢珊却“摆弄”出一个相关系数矩阵的分解公式。通过这个公式可以发现，在相关系数矩阵中竟然包含了变量集合中全部的、完整的相关性信息，即：所有变量之间的简单相关系数、1阶偏相关系数，2阶偏相关系数，……，（p-2）阶相关系数！哎，数学之精妙，太不可思议啦！不知道Pearson先生若瞥见这深邃绝美的风景，内心是否会充满感恩与敬畏之情呢？当用线性代数证明出卢珊的猜想后，她特有哲理地感慨到：其实那个最漂亮的公式一直在那里静静的待着，等待着我们去看见它呢。 夏棒同学也是一个特别能战斗、特别能攻关，对任何工作都会追求及至的人。这学期开学初，我和他讨论了相关系数矩阵与回归模型反号之间的关系（跟相关系数干上了）。不过，通过文献查阅，发现前人已经有一些结论了。而且他通过数字实验还证明，不能完全把反号问题的责任都推卸给变量多重相关性。最最令我苦恼的事情是，他在研究过程中竟然发现，我们在很多年前发表的、很自鸣得意的一种建模方法，竟然存在解释上的缺陷。这个挑战真是太大了！夏棒一次又一次地、认认真真地否定着我的各种“学术幻象”，被逼无奈啊，我们只好指东打西，最后合作完成了一篇关于快速筛选变量的论文。在2个来月的时间里，夏棒的研究论文主题从反号机制到模型比较，然后又变成了数据降维，所以他这个学期紧急手术，我觉得自己怕是有责任的。 我最近刚刚在学习使用人人网，发现这是一个很好的交流平台，上面有很多有意思的信息。昨天看见张哲宇同学转发的关于正态分布形成的漫长历史，忽然深受触动，有感而发。通常，我们看到的数学论文和教科书都有着特别严谨的逻辑结构。然而，探询真理的过程和痕迹，却是我们学习科学的人需要特别关注的。客观真理简约而完美，我们对它的认识从一个又一个的碎片出发，最后慢慢还原出它的全貌。这个过程总是漫长的，但是，真的引人入胜。 我在自己十分浅显的研究生涯中曾得到过四句话，好像与哲宇转发的这篇文章也有一点点异曲同工之处，这便是：物质不灭、殊途同归、化繁为简、止于至善。 目前，我们的相关研究还远没有结束，卢珊曾给我发过一条短信说，因为还没有“至善”，所以不能“止”啊！ 下面是给八系10级同学的思考题。试一试吧？熟悉经典线性回归方法的你，一定会有新的感悟！ 还有，八系11级和12级的同学，明年我会布置你们完成下面的作业哦。 （1）在你们《应用统计学》教材的回归分析章节中找到“脂肪数据”。这个数据表中一共有20*4 80个数据。当对第3个自变量（中