[2018年最新整理]BoxCox变换方法及其实现运用.pptxVIP

Box-Cox 变换方法及其实现运用Box-Cox转换的实例效果数据不同转换方法的比较Box-Cox转换的具体内容4321Box-Cox转换的应用前提主要内容Box-Cox变换Box和Cox在1964年提出的变换可以使线性回归模型满足线性性、独立性、方差齐性以及正态性的同时，又不丢失信息，此种变换称之为Box—Cox变换。后经过一定的推广和改进，扩展了其应用范围。 应用前提线性性独立性方差齐性正态性E(Y)是X中各变量的线性函数相互独立服从正态分布在做线性回归的过程中，一般线性模型假定： 应用前提在处理实际经济问题和社会问题时，由于海量数据比较凌乱，同时在建立回归模型时，个别变量的系数通不过。例如生物医学等数据的特殊性，往往不可观测的误差 可能是和预测变量相关的，不服从正态分布，于是给线性回归的最小二乘估计系数的结果带来误差，为了满足上述四个条件而不丢失信息，有时需要改变一下数据形式，进而Box-Cox变换得到了广泛推广。非正态数据的不同处理方法及其比较普通数据转换方法该方法坚持正态性假设，通过各种数据转换函数将非正态数据转换为正态，例如原始测量值为 ，转换后的对应值为 ，常用的几种数据转换方式为：对数转换：平方根转换：倒数转换：平方根后取倒数：平方根后再取反正弦：幂转换： 其中 ，参数表中数据来自于豪爵摩托车用户满意度问卷调查的样本。通过大量重复试验，得到如下规律：P值为0.003视为平方转换的一个界点，如果正态检验得到的p值大于0.003，通过平方转换一般可实现正态化处理，否则通过平方转换很难实现正态化处理，其他几种转换方法也往往达不到正态处理的目的。Box-Cox变换方法上述问题下，当P值小于0.003时，由于普通数据转换方法很难使其实现正态化处理，运用Box-Cox变换方法对原数据进行正态化处理就表现出巨大的价值。当P值大于0.003时，两种变换方法均可，但优先考虑普通的平方变换。Box-Cox变换和逆变换公式Box-Cox变换是对反应变量y进行变换，变换公式为：逆变换公式为：显然，y的Box-Cox变换是一个变换族，由可变参数 决定着具体变换的形式，当 时，该变换为对数变换。广义的Box-Cox变换公式在前面的变换中，运用的log(y),因此必须要求y0.但对于一般的数据，对于任意取值的y的Box-Cox变换可用下面的公式：其中，参数c就是为了使 ，g的默认取值为1，也可取 ，为y的几何平均。显然参数c的取值很好确定，公式中需要估计的参数就是.为了简便处理，一般理论上我们假定反应变量y0.两种公式对比当 时，当 时，当 时，当 时通过对比Box-Cox特殊变换公式和数据变换公式，我们可以发现Box-Cox特殊变换公式就是数据变换，只是在形式上有一定的改进。两种转换方式的优劣势对比两种转换方式的优劣势对比保持原始数据集中数据的大小次序。也就是说，变换函数应该是个严格递增的函数，这样能够保证在原有尺度下比较大的数据，在数据变换后的新尺度下仍然比较大，只是数据间的相对距离有所改变是连续函数，这保证原始数据比较集中接近的数据，在转换后仍然比较接近，至少相对于新的尺度来说很接近函数可导，变换函数族没有尖锐“拐角”函数族各函数之间随参数改变平滑过渡，且都经过一个公共点，以增强不同函数之间的可比性两种转换方式的优劣势对比函数族内每个函数在公共点两边的变化趋势有一定的对称性除具有一个公共点（1,0）外，函数族所有的曲线都以同样的方向通过这公共点，即在（1,0）点有同样的斜率，在公共点附近的函数图象几乎重合函数族的曲线是按P值大小排序的，较大的P值对应的函数曲线位于较小P值得上方。Box-Cox变换的具体内容对因变量的n个观测值 应用上述提到的Box-Cox变换公式，得到变换后的向量 即要确定变换参数 的值，使得新向量 满足 也就是说，通过对因变量的变换，使得变换过的向量 与回归自变量具有线性相依关系，误差服从正态分布，同时各个误差是等方差且相互独立。参数 的确定方法最大似然估计Bayes方法Box-Cox变换软件：SAS、STATA、Minitab……最大似然法估计参数 由于 ， 的似然函数为其中：上式分别对 求导，令导函数为0，得到 的最大似然估计：将 的最大似然估计值带入步骤一的式子中，得到似然函数的最大值：为计算方便，求 ，得到参数 的最优值参数估计步骤2利用最大似然估计公式求3对一系列 值，绘制