大数据分析方法及工具应用.pptVIP

数据分布初步推断 参数检验：数据的分布已知的情况下，对数据分布的参数是否落在相应范围内进行检验 假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法，可以分为参数检验和非参数检验。 非参数检验：一般是在不知道数据分布的前提下，检验数据的分布情况 检验方法名称 问题类型 假设 卡方检验 检测实际观测频数与理论频数之间是否存在差异 观测频数与理论频数无差异 K-S检验 检验变量取值是否为正态分布 服从正态分布 游程检验 检测一组观测值是否有明显变化趋势 无明显变化趋势 二项分布假设检验 通过样本数据检验样本来自的总体是否服从指定的概率为P的二项分布 服从概率为P的二项分布 检验方法名称 问题类型 假设 适用条件 抽样方法 单样本T—检验 判断一个总体 平均数等于已知数 总体平均数等于A 总体服从正态分布 从总体中抽取一个样本 F—检验 判断两总体方差相等 两总体方差相等 总体服从正态分布 从两个总体中各抽取一个样本 独立样本 T—检验 判断两总体平均数相等 两总体平均数相等 1、总体服从正态分布 2、两总体方程相等 从两个总体中各抽取一个样本 配对样本T—检验 判断指标实验前后平均数相等 指标实验前后平均数相等 1、总体服从正态分布 2、两组数据是同一试验对象在试验前后的测试值 抽取一组试验对象，在试验前测得试验对象某指标的值，进行试验后再测得试验对象该指标的取值 二项分布假设检验 随机抽样实验的成功概率的检验 总体概率等于P 总体服从二项分布 从总体中抽取一个样本 总结 1、参数检验是针对参数做的假设，非参数检验是针对总体分布情况做的假设。 2、二者的根本区别在于参数检验要利用到总体的信息，以总体分布和样本信息对总体参数作出推断；非参数检验不需要利用总体的信息。 相关系数是考察变量之间的相关程度的变量，相关分析是优化数据结构的基础 0 0.4 0.6 0.8 1.0 0.2 负相关 正相关 极强相关 强相关 中等相关 弱相关 弱相关或无(线性)相关 适用 条件 结构优化——相关性分析 用于分析的多个变量间可能会存在较多的信息重复，若直接用来分析，会导致模型复杂，同时可能会引起模型较大误差，因此要初步探索数据间的相关性，剔除重复因素。 Spearman秩相关系数 衡量两个变量之间联系（变化趋势）的强弱 在秩（排序）的相对大小基础上得到，对异常值更稳健 Pearson相关系数 衡量两个变量线性相关性的强弱 在方差和协方差的基础上得到的，对异常值敏感 Kendall相关系数 基于协同思想得到，衡量变量之间的协同趋势 对异常值稳健 特点 服从正态分布或接近正态的单峰分布 两个变量为连续数据 两个变量均为连续数据或等级数据 两个变量均为连续数据或等级数据 偏相关分析 二元变量相关分析 距离相关分析 研究两个变量之间线性相关关系时，控制可能对其产生影响的变量 对观测量之间或变量之间相似或不相似程度的一种测度 检验动机： 样本数据只是总体的一个实现，因此，根据现有数据计算出来的相关系数只是变量相关系数的一个观测值，又称为样本相关系数。欲根据这个样本相关系数来估计总体相关系数，必须进行显著性检验。其原假设：在总体中，两个变量的相关系数(总体相关系数)为零 检验意义： 计算在原假设成立的情况下(也就是在两个变量相关系数为零的情况下)，由于抽样的原因(收集样本数据的原因)得到当前的样本相关系数(可能这个系数并不为零，甚至还比较大)的概率。（p值越小说明越是小概率事件，不可能发生，拒绝原假设） 检验方法： T检验（常用） ：对于近似高斯分布的数据（如两个变量服从双变量正态分布）, 相关系数的 样本分布 近似地服从自由度为N???2的 t分布；如果样本容量不是特别小（通常大于30），即使观测数据不服从正态分布，依然可使用t检验 结构优化——相关性分析 Karl Pearson（1901）探究如何通过少数几个主成分(principal component)来解释多个变量间的内部结构时提出主成分分析法，旨在从原始变量中导出少数几个主分量，使其尽可能多地保留原始变量的信息，且彼此间互不相关 内涵：将彼此相关的一组指标变量转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反映原多个指标变量所包含主要信息的多元统计方法 结构优化——主成分分析 应用：数据的压缩和解释，即常被用来寻找和简化判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释 原理：设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是