施密特正交.doc

Gram-Schmidt 正交化與 QR 分解 四月 22nd, 2010 by 大俠 本文的閱讀等級：初級 設 為向量空間 的子空間，且? 為其基底，因此 ，。在一些應用時機，如最小平方法，我們希望從已知基底建構出另一組正交正規基底 ，亦即 ，若 ，且對於任意 ，。下面先考慮實數幾何向量空間，稍後再推廣至一般內積空間（相關延伸閱讀有“內積的定義”，“從幾何向量空間到函數空間”）。 ?? Gram-Schmidt 正交化（orthogonalization）是基礎線性代數採用的標準做法，包含兩個部分： 正交化：對於 ，由 的線性組合產生 ，且當 時，。 正規化：將 的每個向量 正規化為單位向量 ，最後得到正交正規基底? 。 ??? 我們採用歸納法推導由給定基底 求得正交基底 ? 的 Gram-Schmidt 正交化過程。為便於說明，考慮簡單情況 。因為 包含線性獨立基底向量，，故可令 見下圖，將 正交投影至 所指直線的分量扣除就得到 ： 顯然，。上式的扣除量還有另一種表達方式，利用矩陣乘法結合律可得： 其中 為 向量投影至 的正交投影矩陣，對此式疑惑的讀者請參閱“正交投影——威力強大的代數工具”。繼續下一個步驟，將 投影至 和 所擴張的子空間分量扣除可得 ，因為 和 正交（如下圖所示），於是有 上式也有對應於正交投影矩陣的推導。設 ，將 至 的行空間 的投影量從 扣除即得 ，計算式如下： 最後再將得到的 正規化，令 ，。 ??? 注意，Gram-Schmidt 正規化過程顯示新基底向量 可以表示為舊基底向量 的線性組合。反過來說也對，亦即 可寫為 的線性組合，如下： 如果進一步將正規化結果納入上式，直接替換 為 ，就有 利用 為正交正規向量集性質，各組合權重 即為 與 內積：，例如， 將前述方程組寫為矩陣形式即得到著名的 QR 分解式： 因為 ，主對角元 亦可表示為 ?? 我們以一個例子來說明 Gram-Schmidt 正交化演算程序，考慮 矩陣 的行向量就是 ，下面用演算法形式記錄計算步驟。 正交化： ， ， ， 正規化： 整理結果便得到 QR 分解矩陣： ??? 上述實數矩陣的 QR 分解可以推廣至廣義內積空間 ，做法是把幾何內積算式 取代為廣義內積 ，將數字 代回 ，再加上一些「」即可。設 階矩陣 包含 -維線性獨立行向量 ，其 QR 分解式為 其中 階矩陣 包含正交正規行向量， 則為 階上三角形矩陣，主對角元的計算如下：，當 如果 的行空間與 的行空間相等，則 必須是可逆矩陣，也就是說 的主對角元皆不為零。 ???? 利用 QR 分解可化簡線性方程 ?，將 代入前式，並左乘 ，利用 ，就有 再使用反向迭代即能得出解。讀者或許納悶：以高斯消去法解線性方程式比 QR 分解簡單容易，何須如此費事呢？從表面上看，似乎如此。然而，在一些特定的問題中，QR 分解的精確度比高斯消去法高；另外，QR 分解有它自己的典型應用——求解最小平方法。 ?? 當方程式 無解時，我們可以考慮它的最小平方近似解，問題轉而求正規方程式 的解。如果 階矩陣 有線性獨立的行向量，將 代入上式，可得 因為 是可逆的，上式等號兩邊同乘 ，就有 這和之前得到的式子相同。