第9讲--多元线性回归--主成分回归.pptxVIP

多元线性回归 主成分及其回归 第9讲 多元线性回归解决的问题 系数矩阵 Y=XA 建模：求解回归系数A，该过程称为建模 预报：在A已知时，对于新测Xnew，预报Ynew，称为预报 例子 某保健品含片产品，说明书标明：由营养物质A、B、C组成，产品标注中写出了每片中A、B、C物质的含量。问，如何认定？ 配置A、B、C的一组溶液，建立浓度与光吸收的关系。既建模求回归系数 将药片配置成溶液，测吸光，利用上面的模型，预报浓度。 建模公式推导 Y=XA XtY=XtXA (XtX)-1XtY=A E:\学校教学\python\X.txt E:\学校教学\python\Y.txt 问题求解的关键步骤是什么？ 方程数与未知数的关系 设有规律上符合如下方程的一 组实验数据 y= ax+b 通过实验，不断变更x，测得对应的y 求a,b的值，需要几组这样的数据？ 唯一解 最小二乘解 y1 y2 … yn x1 1 x2 1 … 1 xn 1 a b = 矩阵形式 XtX是2*2的矩阵 方程数与未知数的关系 设有规律上符合如下方程的一 组实验数据 y= 1.2 x1 + 0.9 x2 + 3.3 x3 通过实验，不断变更x1、x2、x3，测得对应的y 需要几组这样的数据？ 唯一解 最小二乘解 方程数小于未知数，一定无解吗 y= 1.2 x1 + 0.9 x2 + 3.3 x3 当X1,X2,X3存在线性相关时，问题会怎样？ 如果x个数很多，样本打不到要求，怎么办？ 现实中存在这样的问题吗 不同浓度成分相同的溶液，在不同波长x1、x2下的吸光值的比值，溶液浓度变化，比值不变。 既X1和X2之间是线性相关的。 怎样知道变量之间有相关性？ 答案：通过线性变化 主成分算法能解决这类问题 死计算：检查XtX有没有逆，没逆，则线性相关 10 主成份分析 PCA Principle Component Analysis 能有效的提取测量数据的有用信息 解决变量之间的相关性问题 有效去除误差，建立有效的模型 11 PCA分解算法原理 采用非线性迭代偏最小二乘法(Nonlinear Iterative Partial Least Squares, NIPALS)方法分解量测矩阵S S = T Pt + E =Σtipi + E T 得分矩阵 特征值方程 Ax = λ x P载荷矩阵 T和P都是列正交矩阵 T的第i列ti的模，就是第i个特征值λi E为残差矩阵，对应噪声 每个主成分就是T和P的对应列 主成分示例 12 方差最大方向 NIPALS算法每次只求一个主成分，目前最大散差方向 仪器的信噪比 仪器测量时，信号强度要远远大于噪声 信号的数据的方差要远远大于噪声的方差 所以，PCA可以区别噪声 样例 x 0.9 1.1 0.8 0.87 2 2.2 1.9 2.1 y 1.2 1.0 0.92 1.1 1.81 1.9 1.7 2.5 t1 1.486 1.485 1.216 1.393 2.694 2.898 2.545 3.253 t2 -0.208 0.075 -0.081 -0.158 0.142 0.221 0.149 -0.273 原数据 图 PCA后 15 通过特征值比值判断有效变量数 在λi/ λi+i，应该达到最大值 根据i值，取T和P的前i列，即可扔掉噪声 16 主成分回归PCR Principle Component Regression 是多元线性回归！ 原来 Y=XA 现在 Y=TA T为X的主成分得分，即X经PCA分解后的得分 因为T只是X的线性组合，提取了线性相关的部分，且只取前i列，所以模型稳定，去掉噪声 numpy中主成分分解—SVD分解 实矩阵的SVD(Singular Value Decomposition，奇异值分解 )分解： 分解结果：A=USV 其中S是对角矩阵 numpy中主成分分解---SVD 程序代码： B = np.linalg.svd(A,full_matrices=False) full_matrices=False一定要写，否则会按复数分解 分解结果： U=B[0] lamda=B[1] V = B[2] Lamda是所有的特征值，可以计算相邻比值，决定主成分，它不是一个矩阵 实例—光谱矩阵的SVD分解 数据：E:\学校教学\教改项目教材\数据\S-093790.txt 是一个16*6的矩阵 看看能求解个特征值？16个？ 6个？96个？ 实例—光谱矩阵的SVD分解 data=np.mafromtxt(E:\\学校教学\\教改项目教材\\数据\\S-093790.txt) data=data.data