第二部分统计推断.pptVIP

第二部分：统计推断 Chp6：统计推断概述 Chp7：非参数推断 Chp8：Bootstrap Chp9：参数推断 Chp10：假设检验 Chp11：贝叶斯推断 Chp12：统计决策理论 Chp6：统计推断 统计推断/学习 利用数据来推断产生数据的分布的过程 统计推断的基本问题： 我们观测到数据 ，要推断（估计或学习）F 或 F 的某些性质（如均值和方差）。 推断的基本问题 推断的基本问题 点估计 置信区间 假设检验 统计推断概述 统计模型 参数模型 非参数模型 模型估计 点估计 区间估计 假设检验 估计的评价 无偏性 一致性 有效性 … 参数模型 参数模型 可用有限个参数参数化，如 也可记为 一般形式 当 为向量，而我们只对其中一部分参数感兴趣，则其余参数称为冗余参量（nuisance parameters ） 非参数模型 非参数模型 粗略地说，非参数模型不能用有限个参数参数化 如 如 例：参数推断 6.1例（一维参数估计）设 是独立的Bernoulli p 观测，问题在于如何估计参数p。 6.2例（二维参数估计）假设 且PDF ， 如 则有两个参数 。 目标是从数据中获得参数。如果仅对μ感兴趣，那么μ是感兴趣参数，而 σ 是冗余参量。 例：非参数推断 6.3例（CDF的非参数估计）设 是来自CDF F 的独立观测。问题是在假设 的条件下估计F。 例：非参数推断 6.4例（非参数密度估计）设 是CDF F 的独立观测，令 是其PDF。 假设我们要估计f 。在只假设 的条件下，不可能估计出 f。我们需要假设f的平滑性。 例如，可假设 ，其中 是满足下述条件的所有概率密度函数的集合 类 称为Sobolev 空间；是 “波动不大” 的函数的集合。 例：非参数推断 6.5例（函数的非参数估计）：令 ，我们要估计 ， 仅假设μ存在。 均值μ可被认为是F的函数，可写成 通常，任意F 的函数可认为统计函数/统计泛函。 方差： 中值： 例：监督学习 假设有成对的观测数据 ， 如 为第i个人的血压， 为其寿命 X：特征/独立变量/预测子/回归子 Y：输出/依赖变量/响应变量 ：回归函数 参数回归模型： ，其中 为有限维 如线性回归： 为直线集合， 非参数回归模型： ，其中 为无限维 如核回归： 例：监督学习（续） 预测：给定新的X的值，估计Y的值 分类：当Y为离散值时的预测 回归/曲线拟合/曲线估计：估计函数 回归模型： 统计推断方法 频率推断 贝叶斯推断 注意 在参数模型中，若 为参数模型，我们记 下标θ表示概率或期望是与 有关，而不是对θ求平均 点估计 点估计是指对某个感兴趣的量的真值 做一个最佳估计，这个估计称为 或 ，因为它取决于数据，所以 是一个随机变量。 但 θ为固定值，虽然未知 如果 X1, …,Xn 是从某个分布F的IID数据点，参数θ的点估计为X1, … ,Xn 的函数： 抽样分布（Sampling Distribution） 的分布称为抽样分布 的标准差 standard deviation 称为标准误差 standard error 标准误差的估计值称为 估计量的评价标准 一个好的估计有什么性质? 无偏性 估计的偏差（bias）为 若 ，则该估计是无偏估计。 一致性 若 ，则该点估计是一致的。 有效性 无偏估计中，方差较小的一个更有效（收敛速度更快） 偏差—方差分解 点估计的性能有时通过均方误差 MSE, mean squared error 来评价： MSE可分解为 为了使估计的MSE小，估计的偏差和方差都要小 对无偏估计，bias 0，所以 偏差—方差分解 偏差—方差分解 若 时， 且 ，则 是一致的，即 证明： 例：Bernoulli分布中的参数估计 令 为p无偏估计 标准误差为 所以 ， 为一致估计 估计的标准误差为 置信区间 参数的1-α置信区间为区间 ，其中 和 是数据的函数，使得 区间 a,b 以1-α的概率覆盖θ 1-α：置信区间的覆盖度 coverage 置信区间表示了我们对未知参数的不确定程度 置信区间宽，表示若要对参数有个比较确定的解，需要更多样本数据 渐近正态性 如果满足 则该估计是渐近正态的（asymptotically normal）。 如果一个估计是渐近正态的，可以比较方便地得到其置信区间。 基于正态分布的置信区间 假设 ， 令 ， 即 且 其中 ， 令 则 如对95%的置信区间， 则95%的置信区间约为 例：二项分布的置信区间 令 其中 则根据Hoeffding不等式 对每个p， 所以 为1-α置信区间。 根据CLT， 则1-α置