2.奇异值分解与最小二乘法和广义逆_35006043.pptxVIP

每周一提交上周作业, 第2-8周周一交到理科楼数学系的9号作业箱(这七周该作业箱上锁), 由王健 wangjian012050@163.com)批改, 第3-8周周一在理科楼数学系的147号作业箱取作业(这六周该作业箱不上锁), 第9-15周周一交到理科楼数学系的147号作业箱(这七周该作业箱上锁),由杨文莉 1184106338@)批改, 第9-16周周一在理科楼数学系的9号作业箱取作业(这八周该作业箱不上锁) 习题课第12和16周，杨文莉周五第六大节, 王健周四下午第四大节, 答疑第4,6,8,10,14周四下午第四大节王健，第3,5,7,9,13,15周五第六大节杨文莉, 2017年3月10日第3周周五第六大节杨文莉在三教1101答疑10.2 奇异值分解、最小二乘法与广义逆10.2.1 奇异值分解引理 设 A 为 m?n 实矩阵, 则方程组 (I): AX = 0, 和 (II): ATAX = 0 为同解方程组, 且 r(A) = r(ATA).证明 若 AX = 0, 则 AT(AX) = 0, 所以(I)的解都是(II)的解. 反之, 若 X 是 ATAX = 0 的任一解, 则有 XT(ATAX) = (AX)TAX = 0, 设向量 AX = (b1, b2,?, bm)T, 则 (AX)TAX = b12+b22+?+bm2 = 0, 得 b1 = b2 = ? = bm = 0, 所以 AX = 0, 即(II)的解也是(I)的解.所以 AX = 0 的解空间与 ATAX = 0 的解空间相等, 维数相同, 即 n-r(A) = n-r(ATA), 所以 r(A) = r(ATA).8定理1 设 A 是一个实矩阵, 则存在正交 P 和 Q 使得这里 D 为对角线元素为正的对角阵(上式称为 A 的奇异值分解).证明 由于 ATA 是半正定矩阵, 所以存在正交阵 Q 使得这里 r = r(A), 则记则是 R(A) 的一记组标准正交基, 扩充其为 Rm 的一组标准正交基则是正交阵, 由引理和可知这里设 k 是一个非负实数, 若存在 m 维单位向量 u 和 n 维单位向量 v 使得 定义1AT = kv, Av = ku, 则 ATAv = k2v, AATu = k2u, 称 k 为 A 的奇异值, u 称为 A 属于奇异值 k 的左奇异向量, v 称为 A 属于 k 的右奇异向量.定理1中对角线元素为正的对角阵 D 的对角线元素为 A 的正奇异值.例1 设求 A 的奇异值分解.解 (1)得到(2) 将 ?1 = 10, 代入(?I?AT??? ? ?, 得求得基础解系:单位化, 得扩充为 R2 的一组标准正交基(3) 将 ?2 = 0, 代入(?I?AT??? ? ?, 得求得基础解系:单位化, 得令则 Q 是正交阵, 且这里作业习题十(P.83): 10(2)10.2.2 最小二乘法与广义逆定义2 实矩阵 A 的 Moor–Penrose 广义逆是指同时满足下列等式的实矩阵 G(1) AGA = A, (2) GAG = G, (3) (AG)T = AG, (4) (GA)T = GA. 定理2 实矩阵 A 的 Moor–Penrose 广义逆存在且唯一.证明 由定理1, 存在正交阵 P 和 Q, 使得这里 D 为对角线元素为正的对角阵, 设易证 G 是 A 的一个Moor–Penrose广义逆.下证 A 的 Moor–Penrose 广义逆唯一:设 G 和 H是矩阵 A 的两个 Moor–Penrose 广义逆, 则 G = GAG = GAHAG = G(AH)T(AG)T = GHT(AGA)T = GHTAT = G(AH)T = GAH = GAHAH = (GA)T(HA)TH = (AGA)THTH = ATHTH = (HA)TH = HAH = H. 故实矩阵 A 的 Moor–Penrose 广义逆存在唯一, 记为 A+.最小.最小.定义3 设 A 是 m?n 阶实矩阵, 当 AX = b 无解时希望找使得最小, 称为方程 AX = b 的最小二乘解.已知一组测量值求 x, 使得例2 设当解 例如垂直时与定义4 设 V 是欧几里得空间, W 为 V 的子空间,则称若为 ? 到 W 的(正交)投影向量.到的投影向量.例3 求解 到 W 的投影向量为作业习题十(P.83): 11最小.最小, 即求 x, y, 使得求 x, y, 使得已知一组测量值例4 设依题意不共线, 生 记解 成一个子空间 W, 求 x, y, 使得在 W 上的投影向量为