量化金融原理与实践第7章 主成分分析.pptx

第7章主成分分析主成分分析(PrincipalComponentsAnalysis,PCA)定义主成分分析是一种降维的手段，旨在损失很少信息的前提下，将众多指标通过线性变换浓缩为几个指标，从高维数据集中提取出最有价值的信息，提高算法运行效率。本章学习目标理解数据降维的必要性掌握为什么需要降维以及降维的价值掌握PCA的原理和应用方法深入理解主成分分析的数学原理和实施步骤学会利用PCA处理实际数据问题通过实战案例掌握PCA在真实场景中的应用

本章内容结构主要学习路径主成分分析及步骤简介重要函数介绍在车贷违约预测中的应用实践本章将通过讯飞A.I算法赛的汽车贷款数据进行实战演练，包括数据预处理、PCA降维、结果可视化等完整流程。图7.1本章主要内容结构

7.1主成分分析及步骤简介7.1.1主成分分析原理问题背景在对建模对象进行分析的过程中，如果建模对象的属性过多导致信息系统过于复杂，出现信息过载，主成分分析的思路是在众多的属性中寻找相关性较高的属性，并把它们组合成少数几个新的属性，新的属性两两不相关。PCA的价值提高处理和分析数据的效率保留数据集中关键的信息使得在面对复杂决策时可以做出准确的判断

主成分分析原理-降维过程示例降维原理说明如图7.2所示，在初始的坐标系中（见图7.2中左图）存在两个相关的属性X,Y，同时存在4个样本点P1,P2,P3和P4。通过坐标旋转，可以用一个新的属性X替代原有的两个属性X和Y，从而在信息损失很少的情况下，将两个属性组合成一个新的属性，降低了维度，简化了信息系统。图7.2数据降维的方式

主成分的定义与性质主成分的特点通过线性变换将原始变量组合为数量较少且满足一定性质的新变量，这些新变量称为主成分。主成分是原始特征的线性组合每个主成分都是原始变量的加权和。主成分被设计为彼此之间不相关各主成分之间相互正交，互不相关。PCA的目标是找到能够最大程度保留原始数据信息的主成分按方差大小排序，优先保留信息量最大的成分。

7.1.2主成分分析流程应用场景：贷款审批中的应用面对庞大而复杂的客户数据集，决策者需依据客户信息做出精准判断。为实现此目的，一般而言，数据处理步骤如下。第一步：描述性统计分析首先，对数据集进行描述性统计分析，了解数据集的情况，以便后续的数据处理。

主成分分析流程-数据预处理第二步：数据预处理在此阶段，需要对数据集进行清洗与整理，包括：填补或剔除缺失值清理经济含义非常低的属性对数据实施标准化或归一化操作标准化的重要性例如，基于贷款数据数值分布范围差异很大的特征，如果数据不进行标准化，原始数据中度量范围大的特征会对计算协方差矩阵产生不成比例的影响，导致PCA分析的结果偏向于这些特征。标准化可以确保每个特征在分析中具有相同的权重。这不仅为后续的分析奠定了基础，还能确保不同量级或量纲的数据能在同一标准下进行比较。

主成分分析流程-精简数据集第三步：精简数据集通过提取数据的主成分，即最能反映数据集变异性的特征，来减少数据的维度。决策思考例如，在贷款审查的过程中，决策者会思考：哪些特征在贷款审批过程中至关重要？哪些信息对结果影响不大，并可以被排除？通过PCA将筛选出最具信息量的特征，帮助简化决策模型。

7.1.3相关检验1.Bartlett球形检验-检验目的PCA的前提条件主成分分析（PCA）是一种广泛应用于数据降维和结构发现的技术。在进行PCA时，需要找到数据中最重要的变化方向，以便将数据映射到一个更低维度的空间中，同时尽可能地保留原始数据的信息。形象化理解假设在3维空间里有一堆散落的点，这些点可以构成一个椭球形状。从不同的角度来观察这些点，以找到看上去最为扁的一个角度。这个扁的概念，实际上是指在这个角度下，点的分布可以用较少的维度来表示，这就类似于PCA中的降维过程。

Bartlett球形检验-检验原理检验的必要性在进行PCA之前，一般先评估原始数据进行PCA的价值。这就好比在决定PCA之前，需要确认这些点是否大致分布在一个椭球形状内。如果数据点是随机分布的，那么再去试图寻找一个最佳的“扁平”视角就没有意义了，因为在任何角度下，数据的分布都将是均匀的。Bartlett球形检验的作用Bartlett球形检验就是用来检验数据集的数据点的分布形状是否为一个“球形”，从而确定是否适合进行PCA的一种统计检验。具体地，Bartlett检验是检查相关系数矩阵是否为单位矩阵的一种方法，单位矩阵对应于各变量之间的不相关性。如果相关系数矩阵显著不同于单位矩阵，这意味着变量之间存在相关性，PCA是有价值的。

Bartlett球形检验-假设与统计量检验假设Bartlett球形检验的假设分别如下：零假设(H0)：总体相关系数矩阵是单位矩阵（表示数据是球形的）备择假设(H1)：总