研究生讲座2012-0327.ppt

数据分析方法与应用 — 专题讲座 王惠文 北京航空航天大学经济管理学院 北京，100083 主要内容 一、统计数据分析的意义 二、时序立体数据表分析方法 三. 偏最小二乘回归方法四、数据降维 五、成分数据分析六、符号数据分析 主要信息点与政策建议 1、必须加强站内管理，尽量缩短准备时间。否则城区不可能实现10分钟到达的规划目标。 2、在准备时间充分缩短的情况下，郊区的到达时间可望达到20分钟。 3、可将郊区进一步分成城区和山区。对于城区可以考虑采取10分钟到达的规划。对于山区，由于人烟稀少，从资源利用率的角度出发，不适宜制定过高的规划目标 《政治算术》威廉.配第1899 作者立论的方法和态度《序》 我进行这项工作所使用的方法，在目前还不是常见的。因为与只使用比较级或最高级的词语以及单纯做思维的论证相反，我却采用了这样的方法，即用数字、重量和尺度的词汇来表达我自己想说的问题，只进行能诉诸人们感官的论证，以及考察在性质上有可见的根据的原因。 几个主要研究方向 1、大规模数据的建模分析方法 例如： 时序多元数据表的分析与预测 多重共线条件下的多元回归（PCR，PLSR） 信息的综合、筛选方法——数据降维 2、处理复杂类型的数据表 例如：符号数据 、成分数据、函数数据 带约束的数据表（投入产出表预测） 例：约翰·内特（Jone Neter）等人在《应用线性回归模型》一书中给出的身体脂肪的数据：对20位25~34岁的健康女性进行测量。变量为身体脂肪 ，三头肌皮褶厚度 ，大腿围长 和中臂围长 。 只取三头肌皮褶厚度作为自变量，其回归模型为 以三头肌皮褶厚度和大腿围长作为自变量 以三头肌皮褶厚度，大腿围长和中臂围长作为自变量 （三）主成分回归 （三）PLS回归的建模原则 （四）PLS回归模型的主要特点 １.可以在变量严重多重相关的条件下进行回归建模； ２.可以在样本点个数少于变量的条件下进行回归建模； PLS回归模型中将包含原有的所有变量； 目前还属于非参数方法。 （五） PLS回归实现了预测分析与数据认识性分析的有机结合 免耕法在我国沙尘暴的防治中的作用 最新研究表明，我国沙尘暴的沙尘来源并非沙漠。据调查，影响京津地区的沙尘暴，70％左右的沙源就来自于内蒙古、山西、河北以及京津周边干旱裸露的农田。因此，为了有效地防治沙尘暴，对农田的风蚀进行研究就显得十分重要。研究人员在我国内蒙古的一些地区，对施行传统耕作、草地条件、沙地和施行免耕法的农田进行实地考察。通过建立偏最小二乘模型，发现关键因素，为防止农田沙化、降低风蚀提供理论依据。 PLS回归模型 （一）能量守恒定律 1、数据降维方法的使用的误区 由于许多降维方法在计算过程中使用了较复杂的数学变换，而且经常可以把一个多重相关的变量集合变换成线性无关的变量集合。 所以很多从事实际工作的分析人员会认为，这些降维方法可以完全消除变量之间的多重共线性。于是在实际应用时，便采用宁滥毋缺的办法随意地选择变量集合，然后等待这些降维方法去自动地发挥作用。 根据物理学中的能量守恒定律：当某种数学变换把一个严重多重共线的变量系统变成相互独立的变量系统后，原始的冗余信息到哪里去了呢？它是否还会以另外的形式来影响最终的分析结论呢？ 3、自变量多重共线对PLS回归的影响 （二） Gram-Schmidt回归模型 利用Gram-Schmidt 正交变换，提取对因变量有最佳解释能力的自变量，并将这些自变量变换成直交变量。 可以进行信息筛选，有效选取对因变量有显著解释作用的自变量，并删除冗余信息； 由于参加回归建模的变量均是直交的，因此克服自变量集合多重共线对OLS建模的不良影响； 由于该模型除了利用Gram-Schmidt 正交变换进行信息提取以外，其他建模步骤与OLS方法基本一致，因此容易被熟悉OLS的应用人员接受，便于推广应用。 1、Gram-Schmidt正交变换及其反变换方法 定理１. 任意一组线性无关的变量x1,x2,…,xs，总可以经过Gram-Schmidt 正交变换使它们成为正交变量集合。Gram-Schmidt 变换公式见下式。 推论１. 对于任意一组秩为 的变量集合 对它们做Gram-Schmidt 正交变换后，得到 。这其中，必有