wk-2主成分分析1.ppt

数学方法在信息处理中的应用 史振威 北京航空航天大学宇航学院图像中心 shizhenwei@buaa.edu.cn 纲 要 引言 基本数学工具 主成分分析（Principal Component Analysis，PCA）流程 引 言 主成分分析（Principal Component Analysis，PCA） 作为十分有用的技术，已经在信息处理的很多应用 领域中得到了广泛的应用，现在可以看作是标准的 统计方法。 经常用在高维数据的降维处理中，如数据可视化。 其它应用如人脸识别、数据压缩等领域。 引 言 参考文献： 1、 Lindsay I Smith，A tutorial on Principal Components Analysis，2002 2、Jon Shlens，A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS--Derivation, Discussion and Singular Value Decomposition，2003 基本数学工具 1、概率统计基础： 概率统计的所针对的对象是数据，研究数据所 具有的统计性质。 以选举作为例子，所有人民是一个集合整体，一 部分有代表性的人所组成的集合为一个子集，子 集中的元素，如一个人，相当于一个样本。 其它例子：灯泡、火柴等。 基本数学工具 1、概率统计基础： 样例： 对于这样的数据，我们可以计算它的一些统计量 来分析它的统计性质。如：样本均值 可以告诉我们数据的平均情况。 基本数学工具 1、概率统计基础： 但样本均值不能告诉我们更多。如： 这两个数据集有什么不同？ 数据的“延展性不同”，可用统计量样本的标准方 差来度量： 基本数学工具 1、概率统计基础： 第一个样本集的标准方差来得大，因为样本更远 离样本均值。考虑如下数据集（均值也为10）： 其标准方差为0。 基本数学工具 1、概率统计基础： 标准方差的平方称为方差，度量数据与均值的偏 移。 思考：方差和标准方差有什么异同？ 基本数学工具 1、概率统计基础： 以上统计量相当于一维统计量，只描述了数据统 计特征的一个方面。如：大家的身高可以作为一 个统计特征（可以计算均值和方差）；学习成绩 可以作为一个统计特征（可以计算均值和方差） ，那么这两个特征之间有没有联系，如何联系？ 即，身高和学习成绩之间有没有统计关系？ 基本数学工具 协方差是这样的一个统计量，可以度量不同特征 之间的关系。协方差是度量两个特征之间的关系 的统计量。公式与方差非常相似（下面公式中X 和Y是不同的特征）。 方差： 协方差： 基本数学工具 举一个例子，同学们选 学这门课，用了多少时 间最后得到了多少成绩 ？这相当于一个二维数 据。第一维是时间，用 H表示；第二维是成绩 ，用M表示。 基本数学工具 计算时间和分数之间的协方差 计算结果说明了什么？ 相关性：正相关、负相关 正负相关往往比具体的数值更能说明问题。 基本数学工具 基本数学工具 特征多于二维怎么办？ 基本数学工具 协方差矩阵： 如果特征是n维，协方差矩阵将是一个n行n列 的矩阵（对称矩阵）。如三维数据集x,y,z 基本数学工具 2、矩阵代数： 特征值和特征向量（哪个是？）： 基本数学工具 2、矩阵代数： 特征值和特征向量： x是特征向量； 是特征值。 集合意义：坐标轴变换。 特征向量之间是正交的（垂直的）。 基本数学工具 2、矩阵与向量计算（基本）： 基本数学工具 2、矩阵与向量计算（基本）： 基本数学工具 2、矩阵与向量计算（微分）： 基本数学工具 2、矩阵与向量计算（行列式微分）： 基本数学工具 2、矩阵与向量计算（逆矩阵微分）： 基本数学工具 2、矩阵与向量计算（微分）： 基本数学工具 2、矩阵与向量计算（微分）： 基本数学工具 2、矩阵与向量计算（微分）： 假设W是对称矩阵： 基本数学工具 3、最优化方法： 无约束最优化问题： min f(x) 平稳点满足： 基本数学工具 3、最优化方法： 约束最优化问题： min f(x) s.t. b(x)=0 转化为无约束问题：min 是拉格朗日乘子。平稳点满足： 主成分分析