option chapter3.pdfVIP

探索性数据分析 Lecture 1: 数据及数据类型 周勇 Email: yzhou@amss.ac.cn 上海财经大学 统计与管理学院 2012 年9 月12 日 周勇 (上海财经大学) 探索性数据分析 2012 年 9 月 12 日 1 / 1 数据类型 统计的理论与方法发展离不开实际应用，而在实际中总需要进 行数据收集和数据结构分析。 不同的应用领域产生不同的数据类型，不同的数据类型又决定 不同的统计模型和推断方法。 因此，对数据的分析是统计理论和方法应用必须要先做的一 步,也是统计建模重要的一步. 对于不同类型的数据可能需要不同的统计建模，甚至即使用相 同的模型，但是数据类型不同必须使用和提出不同的统计推断 方法。 周勇 (上海财经大学) 探索性数据分析 2012 年 9 月 12 日 2 / 1 数据概述 例1 一个简单的例子就是简单随机样本与时序样本的例子，注意到 此两类数据分别是独立 同分布和相依的，虽然都可 由线性模型 来描述和分析这两类数据，可 以类似地建立线性模型，例如常 用的线性回归和自回归模型等，虽然形式相似，但是其本质是 不同。 对普通的简单样本的线性回归，人们关心的是模型的选元和参 数的统计推断，特别关注 因素的贡献水平及其显著性，以及模 型的拟合程度等。而对于时间序列中的（线性）自回归模型， 除了要考虑线性回归中的内容外，还必须考虑数据间的相关 性，更需要讨论平稳性。另外建立线性模型都可 以进行预报， 但是出发点的角度不同。 周勇 (上海财经大学) 探索性数据分析 2012 年 9 月 12 日 3 / 1 例2 一个更有趣的例子, 对于简单样本和删失数据建立参数模型，即使 应用极大似然方法对参数进行估计，由于数据类型不同似然函数 也不同。 在删失数据中需要考虑数据的不完全性，还要尽量利用数据的 信息，比如，向量数据中向量 中某些分量缺失，不应当把这些 只有部分观察数据丢弃，因为这些数据有信息。 而且，在基于似然函数进行统计推断时方法原理是类似 的，但 是难度不同，后者可能不能直接应用极大似然估计，可能需要 更多的模型假设和更复杂的理论方法。 周勇 (上海财经大学) 探索性数据分析 2012 年 9 月 12 日 4 / 1 简单数据 简单数据就是通常意义下的独立 同分布数据,在统计上称为简单样 本。简单样本在统计学中应用最广泛，也是最基本的数据类型。很 多试验和抽样中获得的样本通常是简单样本.例如人的身高、体重、 物体质量 、学生考分等。 不独立的抽样也有很多，在有限总体中，无放回抽样是不独立 的，且抽样分布也经常不相 同，但是有放回抽样通常是独立 的。 而在无限总体中，通常认为观察数据是独立 同分布的. 周勇 (上海财经大学) 探索性数据分析 2012 年 9 月 12 日 5 / 1 例 例如，对某一物体的重量进行多次测量时，可认为总体是无限的，测得的数 据通常可 以认为是独立且服从相 同的误差分布，因此这样的测量值是简单 样本。但是，如果认为在测量 中受到空气的湿度和温度的影响时，测量值可 能不服从相 同分布。 在一些情况下虽然并不是严格独立，但是，仍然可 以看作简单样本。 例 例如，在考虑中国的所有人口中男女平均身高时，显然这是一个有限总体， 如果无放回地抽样，其实是不独立的，但是，由于总体基数