《主成分回归分析》课件.pptVIP

*******************主成分回归分析主成分回归分析是一种多元统计分析方法，将多个自变量进行降维，得到少数几个综合性变量，称为主成分。然后将主成分作为自变量，建立回归模型，预测因变量。主成分分析的基本思想降维通过寻找一组线性无关的新变量，来代替原有的多个自变量。这组新变量被称为主成分，它们能够解释原始数据中的大部分变异。相关性主成分分析假设原始变量之间存在一定的相关性。通过分析这些相关性，我们可以找到一组主成分，它们能够最大程度地保留原始变量的信息。最大方差主成分的选取遵循最大方差原则。每个主成分解释的数据方差最大，意味着它们能够尽可能地保留原始变量的信息。主成分的定义和性质定义主成分是指原始数据中包含的信息的线性组合，它们是按照方差降序排列的。第一个主成分具有最大的方差，它能够解释原始数据中最大的方差。性质主成分是正交的，它们之间相互独立。主成分的方差依次递减，它们可以解释原始数据中的大部分方差。主成分分析的步骤1数据标准化将数据转化为均值为0，方差为1的标准化数据。2计算协方差矩阵计算所有变量之间的协方差，得到协方差矩阵。3求解特征值和特征向量计算协方差矩阵的特征值和特征向量，并按特征值大小排序。4主成分提取根据特征值的大小，选取前几个特征向量作为主成分。主成分分析的步骤包括数据标准化、计算协方差矩阵、求解特征值和特征向量以及主成分提取。每个步骤都至关重要，它们共同构成了主成分分析的完整流程。样本相关系数矩阵的计算相关系数矩阵是用来描述变量之间线性相关程度的矩阵。它是一个方阵，对角线上的元素都是1，非对角线上的元素是不同变量之间的相关系数。计算样本相关系数矩阵需要用到样本数据，并根据样本数据计算出每个变量的样本均值和样本标准差。样本相关系数矩阵的计算公式如下：特征值和特征向量的求解计算样本相关系数矩阵，得到协方差矩阵。求解协方差矩阵的特征值和特征向量，并按特征值大小排序，选取前k个特征值对应的特征向量。特征值反映了主成分所包含的信息量，特征向量则指明了主成分的方向。主成分的提取计算特征值和特征向量将样本相关系数矩阵进行特征值分解，得到特征值和特征向量。排序特征值根据特征值的大小，对特征向量进行排序，并选取前k个特征向量。计算主成分将排序后的特征向量与原始数据矩阵相乘，得到主成分。主成分含义的解释主成分解释每个主成分都是原始变量的线性组合，代表了原始数据中的主要变异方向。主成分得分每个主成分的得分代表了样本在该主成分方向上的投影，反映了样本在该方向上的变异程度。主成分方向主成分方向表示了数据变化的主要趋势，箭头指向数据变异最大的方向。主成分的选取累计贡献率根据累计贡献率选择主成分。一般来说，累计贡献率达到85%以上时，可以认为选取的主成分能够解释大部分信息。碎石图通过碎石图观察特征值的大小，选择特征值较大的前几个主成分。主成分的实际意义根据主成分的成分系数，解释主成分的实际意义，并选择能够有效解释原始变量信息的成分。模型效果选择不同的主成分数量，建立模型并评估模型的效果，选择最优模型。主成分回归模型的建立1选择主成分根据主成分的解释和特征值大小选择合适的2建立回归模型将选定的主成分作为自变量构建回归模型3模型拟合利用最小二乘法拟合主成分回归模型4检验模型评估模型的拟合优度，并进行必要调整主成分回归模型的建立过程需要经过几个关键步骤，包括选择主成分、建立回归模型、模型拟合和模型检验。每个步骤都需要仔细考量，以确保模型的有效性和可靠性。回归系数的计算回归系数计算公式截距b0=Y?-b1X?斜率b1=Σ(Xi-X?)(Yi-Y?)/Σ(Xi-X?)2使用主成分作为自变量进行回归分析，即可得到主成分回归模型的系数。多重共线性问题的处理1特征值特征值过小，可能导致共线性。2容差容差值越小，共线性越严重。3方差膨胀因子方差膨胀因子越大，共线性越严重。4逐步回归逐步回归法，消除共线性因素。模型的评价指标指标解释R平方模型拟合程度，值越大越好调整后的R平方考虑自变量个数，避免过拟合，值越大越好F统计量检验模型的显著性，值越大越好p值检验模型的显著性，值越小越好均方误差（MSE）预测值与实际值之间的平均误差，值越小越好均方根误差（RMSE）MSE的平方根，值越小越好平均绝对误差（MAE）预测值与实际值之间的平均绝对误差，值越小越好主成分回归的优缺点优点减少多重共线性，提高模型稳定性。降低模型复杂度，解释性更强。缺点解释性不如普