第四章篇矩阵的因子分解.ppt

第4章 矩阵的因子分解 （Matrix Factorization and Decomposition） 教学要求 掌握矩阵的满秩分解； 掌握矩阵的三角分解； 掌握矩阵的正交分解； 掌握Schur定理和正规矩阵的定义； 熟练掌握矩阵的奇异值分解；; 数据集中可能包含大量特征，维灾难使得数据分析很困难， 1.维归约（降维）：利用旧属性的线性组合得到新属性，使得新属性相互正交，捕获到数据的最大变差（PCA：主成分分析(principle components analysis)和SVD） 2.选择特征子集：嵌入（决策树分类其），过滤和包装（搜索，特征加权等） ）; 矩阵的各种分解在矩阵计算中也扮演相当重要的角色。由于变换即矩阵，所以各种分解从根本上看是各种变换，其目的是将矩阵变换成特殊的矩阵。; §4.2 矩阵的满秩分解 满秩分解定理：设 为任意矩阵，则存在 使得 A=BC, 其中B为列满秩矩阵,C为行满秩矩阵. ;例1 求下面矩阵的满秩分解;由此可知rank(A)=2，且该矩阵第一列、第三列是线性无关的。选取;同样，我们也可以选取;;;;定理1 ( LU分解定理 ) 设A是n阶非奇异矩阵，则存在唯一的单位下三角矩阵L（主对角线上元素全为1的下三角矩阵）与唯一的上三角矩阵U ，使得 的充要条件是A的所有顺序主子式均非零，即 ;定理2 ( LDU分解定理 ) 设A是n阶非奇异矩阵，则存在唯一的单位下三角矩阵L，对角矩阵D=diag(d1,d2,…dn)和单位上三角矩阵U ，使得 A=LDU 的充要条件是A的所有顺序主子式均非零，即 ;矩阵的LU分解方法;例 1 求下列矩阵的LU分解：;解：;因为;1. 即使矩阵A非奇异，如果A不满足前n-1个顺序主子式非零，未必能做LU分解， 2.适当改变非奇异矩阵的行的次序，可使改变后的矩阵做LU分解，引入排列阵的概念; 定义1 设e1, e2,…, en是n阶单位矩阵I的n个列向量，矩阵 P=(ei1, ei2, ,…, ein )称为一个n阶排列阵，其中i1, i2,…, in是1,2…n的一个排列. P是排列阵的充要条件是P为一系列形如P(i,j)的初等交换矩阵的乘积. ; 排列阵的性质： 1. P是排列阵，则PT和P-1也是排列阵，且PT=P-1 2. P1 ，P2是排列阵，则P1P2是排列阵 3. ;;;定理;§4.4 QR分解;定理1 ( QR分解定理 ) 设A是n阶非奇异实（复）矩阵???则存在正交（酉）矩阵Q与非奇异实（复）上三角矩阵R ，使得 A=QR 且除去相差一个对角元绝对值全等于1的对角矩阵因子，分解式是唯一的。 ;证明：先证明分解的存在性。将矩阵A按列分块得到 由于 ，所以 是线性无关的。利用Schmidt正交化与单位化方法，先得到一组正交向量组;于是有;为正交矩阵。;唯一性：设 A=QR=Q1R1, 则 Q=Q1R1R-1=Q1D， 其中D=R1R-1为非奇异上三角矩阵，于是 I=QHQ=(Q1D)H(Q1D)=DHD 所以D为酉矩阵，比较DHD= DDH=I的对角元，可得D为对角矩阵，且对角元的模为1，于是R1=DR,Q1=QD-1; 定理2 设A是列满秩的m?n实（复）矩阵，则存在m阶正交 （酉）矩阵Q和n阶非奇异实（复）上三角矩阵R，使得 定理3 设A是m?n矩阵，且rank(A)=r0,则存在m阶正交 （酉）矩阵Q和r? n阶行满秩矩阵R，使得 ; 推论 设A是m?n矩阵，且rank(A)=r0,则存在m?r列正交规范矩阵Q1和r?n行满秩矩阵R，使得 A=Q1R， 列正交规范矩阵指的是m?r矩阵Q1满足 。 矩阵Q1是列正交规范矩阵的充要条件是Q1的列向量组是标准正交向量组 ;一、Schmidt 方法 步骤：1.将矩阵A的列向量?1， ?2 ，… ?n施以Schmidt标准正交化,得到?1， ?2 ，… ?n 标准正交组： 2.取Q=(?1， ?2 ，… ?n )，则Q为正交矩阵 3. 取R=QTA;例1 利用Schmidt 方法将下列矩阵进行QR分解：;解 先将A= [?1， ?2 ， ?3 ]的三个列向量正交化与单位化：;所以A的QR分解为：A=QR;从而;从而;则得;使得;例2 利用Householder变换将下列矩阵进行QR分解;对向量 ，令;使得;因此取;所求的Q