数据分析总结.docxVIP

回归分析 线性回归模型： Y 为随机变量（可观测），受p-1个因素X1，X2，…Xp-1的影响。随机误差ε的均值为0，方差δ20（即正态分布ε~N（0，δ2）），不可观测。 Y=Xβ+ε X为设计矩阵，且rank(X)=p；ε为误差项。 前提条件：ε的平方和尽量小：∑εi2= εTε=（Y-Xβ）T（Y-Xβ）偏导为0。 求得正规方程XTXβ=XTY 得到β的最小二乘估计值β^=(XTX)-1XTY,易知E（β^）=β 拟合值Y^=Xβ^ 残差向量e=Y-Y^=(I-H)Y 标准化残差（在0-1间取值）ei/MSE 残差平方和eTe=εT(I-H) ε 期望E（eTe）=δ2（n-p） δ2的无偏估计 δ^2= eTe/（n-p） 线性回归方程的使用 前提条件： Y与X1，X2，…Xp-1之间是否存在显著地线性关系。 离差平方和 Total sum of squares SST=i=1 反应y值的波动 自由度f=n-1 残差平方和 Error sum of squares SSE=i=1 SSE越大，拟合偏差越大 f=n-p 均方残差error mean square MSE=SSE/f=δ^2 回归平方和 Regression sum of squares SSR=i=1 SSR=SST+SSE SSR=0时y不随x变化 SSR越大，线性关系越明显 f=p-1 均方回归regression mean square MSR=SSR/f 回归关系的显著性检验： 检验统计量F=MSR/MSE F0≤Fα（p-1,n-p）,接受H0；则拒绝H0，认为y与x线性相关。其中α为显著性水平，可以取0.8. 若检验P值，则P≤0.0001，线性相关。 剔除对y影响小的Xi 由Cov（β^）=E(β-β)(β-β)T=δ 得S（β^）=δ^2(XTX)-1 t=βks(βk) k=0,1,…，p-1其中s( 若|t0|≤ta/2(n-p)，接受H0；否则拒绝，Xi有交大影响。其中1-α为置信区间，一般取0.95. 逐步回归法 用于一个个筛选自变量Xi，直至得到所有对y有显著影响的Xi。因为预报值的方差会随着自变量数目的增加而增大，且计算量大。 偏F检验统计量：F=SSR(Xk|A)MSE(A,Xk) SSR(Xk|A)=SSE(A)-SSE(A,Xk) 为额外回归平方和，描述了引入一个Xk到A中后，SSE的相对减小量。 步骤： 先选取显著性水平 αE（选取自变量），αD（剔除自变量）。（默认均为0.15） 假设每个Xk自成一个A，分别计算它们的Fk(1)=SSR(Xk)MSE(Xk) k=1,2,…,P-1找到最大的F，若Fk1 其余p-2个元素在现有A基础上计算Fk(2)=SSR(Xk|Xk1）MSE(Xk1,Xk) Fk1(2)=SSR(Xk1|Xk2） 接下来对其余p-3个元素计算Fk(3)，取最大值比较Fk3FαE（1，n-3-1），判断是否接受Xk3。分别从A中取出Xk1,Xk2,计算F(2)，判断是否剔除Xk1,X 软件会自动标准化，转化成P值，可以直接与α比较 主成分分析 原理 变量间有一定的相关性，即信息有重叠。主成分之间线性无关，没有重叠。原变量重新进行正交分解，分解到各个主成分上。这些主成分就是新的变量，它们互不相关，便于单独分析每个变量对y的影响。 设线性组合：Y=lTX l=(lij)p*p 其中Y为p个主成分组成的向量，两位p个常数向量组成的矩阵，X为p个原始变量组成的向量。 Y构成主成分的条件是：Var(Yi) = liTli 达到最大(该值表示了Y反映的X的信息量，离散程度越大，说明Y随X变化越剧烈，说明越能反映 Cov(Yi, Yj) = liTlj=0 （说明Yi, Yj 不相关） i=1,2,….,p 总体主成分求法 求标准化的l (即liT 已知Σ是X的协方差矩阵。 求得其特征值为λ1≥λ2≥…λp≥0，对应的单位正交特征向量为e1 ,e2 ,…，ep 可证明：Var(Yi) = eiTei=λi e Cov(Yi, Yj) = ei 则Yi=eiTX i=1,2,… 求标准化变量的主成分 由于X的量纲不同，各变量的分散程度差异可能很大，用∑求主成分会优先照顾方差大的变量，这时主成分Y的贡献率和和其与各Xi的相关系数都会有偏差。所以先将原始变量标准化，使其在0~1之间。 步骤： 令 Xi*= 其中μi=E(Xi), σii=Var(X 此时X*的协方差矩阵便是X的相关矩阵ρ=（ρij）p*p ,其中 ρij=E（Xi*Xj*）=Cov(Xi Yi*=(e 此时 i=1p 评估主成分 主成分的协方差矩阵和总方差：