简单线性回归之矩阵方法.ppt

5.1矩陣 矩陣之定義 對於一個具有r列c行之矩陣我們可以表示為： (5.1) 或是採用簡略之形式 甚至直接以A作為表示方式。 方陣 向量 轉置 在一般的情形下，A矩陣轉置的規則為： (5.2) 其轉置矩陣為： (5.3) 所以在矩陣A中的第i列第j行的元素，轉置後出現在矩陣 中的第j列第i行。 矩陣相等 5.2 矩陣之加法與減法 一般而言，如果 則 (5.8) (5.8)式可以一般化推廣至多於兩個矩陣之加減運算，而且與一般代數規則有相同的性質：A + B = B + A。 5.3 矩陣相乘 純量與矩陣之相乘 一般而言，當 ，而k為一個純量，則 (5.11) 兩矩陣之相乘 一般而言，當矩陣A之階數為r × c，而矩陣B之階數為c × s，則乘積AB之階數為r × s，且其第i列第j行的元素為： 所以我們可以得到： (5.12) 5.4 特殊矩陣 對稱矩陣 當 ，則矩陣A為對稱矩陣 對角線矩陣 當矩陣之主對角線以外的元素均為零，則此矩陣為一個對角線矩陣 單位矩陣 單位矩陣之符號習慣上用I來表示，該矩陣主對角線之元素均為1，而主對角線以外的元素均為零，任意矩陣乘上或被乘上相同階數的單位矩陣，其結果不變， 所以對於一個r × r之矩陣A，我們有 (5.16) 純量矩陣 純量矩陣為主對角線元素均相同之對角線矩陣 元素全為一之向量與矩陣 當行向量內所有的元素均為1，我們用符號1來表示， (5.17) 而對於方陣內所有的元素均為1，我們用符號J來表示， (5.18) 零向量 零向量是指向量內所有的元素均為0，我們用符號0來表示： (5.19) 5.5 線性相依與矩陣的秩 線性相依 如果存在c個不全為0之純量k1,…, kc，可以滿足： (5.20) 則c個向量C1, …,Cc為線性相依；反之，若滿足k1C1 + k2C2 + … + kcCc = 0之唯一條件為k1 = k2 = … = kc = 0 ，則c個向量C1, …, Cc為線性獨立。 矩陣的秩 5.6 反矩陣 在矩陣代數中，矩陣A的反元素我們用符號 來表示，同時有性質： (5.21) 反矩陣之求法 1.矩陣 則 (5.22) 其中， (5.22a) D稱為矩陣A之行列式值，當矩陣A為奇異，則D = 0，而矩陣A之反矩陣不存在。 2.矩陣 則 (5.23) 其中， (5.23a) 且 (5.23b) Z稱為矩陣B之行列式值。 反矩陣之使用 5.7 矩陣之基本定理 一些常用的矩陣基本定理： (5.25) (5.26) (5.27) (5.28) (5.29) (5.30) (5.31) (5.32) (5.33) (5.34) (5.35) (5.36) (5.37) 5.8 隨機向量與矩陣 隨機向量與矩陣之期望值 一般情形下，一個隨機向量Y之期望值我們可以表示為： (5.38) 而對於一個階數為n × p之隨機矩陣Y，我們可以將其期望值表示為： (5.39) 隨機向量之共變異矩陣 我們可以用來表示Y的共變異矩陣： (5.40) 由於 (5.41) 在上述的例子中，我們有： 經過矩陣之相乘運算，並取期望值後，我們可以得 到下面結果： 將上述結果推廣至一個n × 1的隨機向量Y，其共變 異矩陣為： (5.42) 基本定理 有時我們經常會遇到一個常數矩陣A（元素固定之矩陣），乘上一個隨機向量Y，而形成一個隨機向量W如下： (5.43) 則可能會用到一些基本定理： (5.44) (5.45) (5.46) 其中， 為Y的共變異矩陣。 多元常態分配 密度函數 我們先定義一些向量與矩陣，假設觀測值向量Y是由p個Y變數所組成，則習慣上可以寫成： (5.47) 我們用符號表示向量Y之期望值E{Y}，所以 (5.48) 最後，Y的共變異矩陣 用符號 來表示： (5.49) 所以，對於一個多元常態分配的密度函數，我們可 以寫成： (5.50) 其中， 表示共變異矩陣 之行列式值 5.9 簡單線性迴歸模型的矩陣表示 在本節中，我們將利用矩陣來處理簡單線性迴歸，首先