统计建模与R软件 第一讲 .ppt

数据缺失怎么办？ ? ? ? ? 删除 用同一变量其他值的均值或中位数填补 在各个变量之间建立模型(比如回归模型，最近 邻方法等)来填补。 R包：missForest。专门用于填补缺失值。采用 随机森林的方法，同时自动填补定量变量和分 类变量。 4. 模型构建 ? ? 第一步：探索性分析。利用图形（例如散点 图）、各种统计量（均值、标准差、最大值、 最小值、负值等）、或者稍微复杂的探索方法 来查看数据的关联性、线性性、异方差性、多 重共线性、聚类特征、分布形状等。 第二步：寻找适合的模型，例如，统计模型、 计量经济模型、时间序列模型、多元统计分析。 当 代 计 量 经 济 模 型 体 系 单位根检验 ARIMA（时间序列）模型 SARIMA（季节时间序列）模型 PANEL（面板数据）模型、空间计量模型 DS（离散选择）模型、有序响应、计数模型 LDV（受限因变量）模型（删失、截断模型） 线性时间序列 时 间 序 列 模 型 回 归 模 型 单 序 列 模 型 向 量 序 列 模 型 时间序列的加法、乘法模型，X12 季节调整 组合模型 截面数据回归 蒙特卡罗模拟技术 非线性时间序列 波动模型 单位根检验 时间序列回归 GAR（广义自回归）、BL（双线性）模型 TAR、STAR（门限自回归、平滑转移）模型 ARCH、GARCH（自回归条件异方差）模型 SV（随机波动）模型 ACD、SCD（自回归、随机条件久期）模型 研究 VAR、VEC（向量自回归、误差修正）模型 单方程（线性、可线性化非线性）回归模型 联立方程模型（结构、简化型、递归模型） 分位数回归模型 单位根检验 ? ? ? ? 各种统计方法层出不穷，学习永无止境，怎么 办？ 针对不同类型的数据，如何选取合适的模型？ 遇到没学过的模型，怎么办？ 谷歌和百度！论坛或者QQ群！ 5.模型估计 不同的模型有不同的估计方法和检验方法。常见 的模型估计方法包括： ? 最小二乘（OLS）法 ? 极大似然估计（MLE）法 ? 广义矩（GMM）法 ? 分位数回归方法 ? 贝叶斯方法 6.模型检验 各种检验准则： ? ? ? ? 经济意义检验：定性检验 统计学检验：t检验、F检验、拟合优度检验 计量经济学检验：异方差、自相关、多重共线 性等检验 预测精度检验 比较模型的标准 ? ? 算法模型——交叉验证(cross validation)：拿一 部分数据作为训练集(training set)，得到模型， 再用另一部分数据(称为测试集，testing set)来看 误差是多少。有时需要进行k折交叉验证(k-fold cross validation)，即把数据分成k份，每次拿k- 1份作为训练集，用剩下的一份作为测试集，重 复k次，得到k个误差作出平均，以避免仅用一 个测试集可能出现的偏差。 显然，交叉验证的方法也适用于传统模型之间 或者在传统模型和算法模型之间的比较。 ? ? ? 选择模型不是最终目的，最终目的是解释模型 所产生的结果，而结果必须是应用领域的结果， 必须有实际意义。 仅仅用统计术语说某个模型较好、某个变量显 著之类的话是不够的。 例如，恩格尔定律、边际消费倾向、库兹涅茨 倒U假说。 7.结果分析 8.撰写论文（分析报告） ? ? 论文：学校的要求，建模比赛、课堂作业、统 计建模比赛、毕业论文 分析报告：企业的要求 论文结构 ? ? ? 一、标题：写出较确切的题目。 二、摘要： 200—300字，包括模型的主要特点 、建模方法和主要结果。 要求：既简练又能说明整篇论文的内容。 三、关键词：要能体现在整篇论文中的地位及 作用。一般3-5个。 论文撰写 ? 四、正文 ? ? 1．问题提出，问题分析。 2．模型建立： ? ? ? （1）提出假设条件，明确概 念，引进参数； （2）模型构建； （3）模型求解。 ? ? ? ? 3．计算方法设计和计算机实现。 4．主要的结论或发现。 5．结果分析与检验（非常重要，容易被忽视）。 6．讨论——模型的优缺点，结果的意义，不足与 展望。 论文撰写 ? ? 五、参考文献（权威性、准确性） 六、附录部分 ? ? ? ? 计算程序，框图。 各种求解演算过程，计算中间结果。 各种图形、表格。 其中统计建模