我的一些统计方法观.docVIP

我的一些统计方法观 　　记得高中很讨厌政治课，但是有几个词烙在脑子里，想忘都忘不掉，比如“世界观”和“方法论”，当时那位老爷爷整天给我们灌输这些玩意儿，搞得我现在对这些词汇仍然如鬼神般敬而远之。这次我要写的是关于统计方法的一些思考（主要是思路），但又不太多涉及方法本身的推导证明，因此只好称之为“方法观”。　　现在每天感慨统计领域太宽，模型太多，方法太杂，让人把握不住方向。不过上次高校研究生统计论坛我仍然不知天高地厚地选了一个讲述统计思想的题目，其原因正是觉得方法太杂，应该理出一些头绪来；当然我所理的头绪也仅仅是很局部（local ）的，管中窥豹而已。下面我先举几个例子说明一些统计方法的发展思路，这些也是我在上次论坛上发言的部分内容：一、纵向数据与空间统计学　　纵向数据（Longitudinal Data）和空间统计学（Spatial Statistics）算是代表了统计学发展领域的两个前进维度；众所周知，统计的数据有截面数据（Cross-section）和时间序列数据（Time-series）之分，前者是在同一时点观测不同个体得到的数据，后者是在不同时点观测同一个个体（当然也可以不同）得到的，这两种数据都有比较成熟的分析方法，如回归、多元、ARMA等等，而纵向数据则可视作是它们的“综合”：对不同的个体在不同的时点上（重复）观测——这体现的是时间的维度；而空间统计学则是结合地理学的知识，运用统计分析方法去分析与地理相关的问题，这里我摘一段Wikipedia 中关于空间统计学的介绍： Applications within GIS; mathematical analysis on varied spatial datasets; Issues on human geography, particularly those involving the spread of disease (epidemiology), the practice of commerce and military planning (logistics), and the development of efficient spatial networks. … 　　其中GIS是地理信息系统，也是现在研究应用比较火热的技术；空间统计学牵涉的领域有疾病的散布（流行病学）、商业和军事规划（后勤）以及开发有效的空间网络等等。听起来挺有意思。此外，一些传统的统计学概念、模型也被自然而然的转移到空间统计学中，比如空间回归（Spatial Regression）、空间滞后模型（Spatial Lagged）、空间自相关（Autocorrelation）、空间计量经济学（Spatial Econometrics）等。　　若对R有所了解，不妨看看相应的一些Package，对于纵向数据，一般使用nlme（John Fox 的文档：http://socserv.mcmaster.ca/jfox/Books/Companion/appendix-mixed-models.pdf）；对于空间统计学，可以参见Task Views：/src/contrib/Views/Spatial.html二、分位数回归与均值回归　　众所周知，经典的最小二乘回归是针对因变量的均值（期望）的：模型反映了因变量的均值怎样受自变量的影响——，；这个小小的式子说明了经典回归的本质，自变量（有时也称为协变量Covariates）影响着因变量的一个位置参数量，从这个意义上，可以把回归称之为一个位置移动模型（Location Shift Model）；用最小二乘方法容易推出，使最小的ξ正是　　分位数回归（Quantile Regression）的核心思想就是从这个Location的角度出发而产生的，把Location从均值推广到分位数，回归家族也就增添了分位数回归这位新成员。最小二乘回归的目标是最小化误差平方和，分位数回归也是最小化一个新的目标函数：　　同样我们可以看看什么样的ξ使得上面的目标函数最小？通过对ξ简单的求导，不难发现满足条件的ξ正是y的τ分位数 。 图1：函数示意图 　　在R中，与分位数回归对应的包是quantreg，这个包也有自带的一份Vignette，对于分位数回归的学习者来说绝对是好材料（位于/doc目录下，rq.pdf）。这份文档中举了一个关于恩格尔系数的例子（见图 2），图中虚线是最小二乘回归结果，黑线是中位数回归结果（实际上就是τ=0.5），灰线从下至上分别是0.05、0.1、0.25、0.75、0.90、0.95分位数；从图中可以看出，大趋势是随家庭收入增大，食品支出也增加（废话！），但是在给定家庭收入的情况下，食品支出的不同分位数的变化趋