第五章简单线性回归之矩阵方法.ppt

5.1矩陣 矩陣之定義 對於一個具有r列c行之矩陣我們可以表示為： 5.1 或是採用簡略之形式 甚至直接以A作為表示方式。 方陣 向量 轉置 在一般的情形下，A矩陣轉置的規則為： 5.2 其轉置矩陣為： 5.3 所以在矩陣A中的第i列第j行的元素，轉置後出現在矩陣 中的第j列第i行。 矩陣相等 5.2 矩陣之加法與減法 一般而言，如果 則 5.8 5.8 式可以一般化推廣至多於兩個矩陣之加減運算，而且與一般代數規則有相同的性質：A + B B + A。 5.3 矩陣相乘 純量與矩陣之相乘 一般而言，當 ，而k為一個純量，則 5.11 兩矩陣之相乘 一般而言，當矩陣A之階數為r × c，而矩陣B之階數為c × s，則乘積AB之階數為r × s，且其第i列第j行的元素為： 所以我們可以得到： 5.12 5.4 特殊矩陣 對稱矩陣 當 ，則矩陣A為對稱矩陣 對角線矩陣 當矩陣之主對角線以外的元素均為零，則此矩陣為一個對角線矩陣 單位矩陣 單位矩陣之符號習慣上用I來表示，該矩陣主對角線之元素均為1，而主對角線以外的元素均為零，任意矩陣乘上或被乘上相同階數的單位矩陣，其結果不變， 所以對於一個r × r之矩陣A，我們有 5.16 純量矩陣 純量矩陣為主對角線元素均相同之對角線矩陣 元素全為一之向量與矩陣 當行向量內所有的元素均為1，我們用符號1來表示， 5.17 而對於方陣內所有的元素均為1，我們用符號J來表示， 5.18 零向量 零向量是指向量內所有的元素均為0，我們用符號0來表示： 5.19 5.5 線性相依與矩陣的秩 線性相依 如果存在c個不全為0之純量k1,…, kc，可以滿足： 5.20 則c個向量C1, …,Cc為線性相依；反之，若滿足k1C1 + k2C2 + … + kcCc 0之唯一條件為k1 k2 … kc 0 ，則c個向量C1, …, Cc為線性獨立。 矩陣的秩 5.6 反矩陣 在矩陣代數中，矩陣A的反元素我們用符號 來表示，同時有性質： 5.21 反矩陣之求法 1.矩陣 則 5.22 其中， 5.22a D稱為矩陣A之行列式值，當矩陣A為奇異，則D 0，而矩陣A之反矩陣不存在。 2.矩陣 則 5.23 其中， 5.23a 且 5.23b Z稱為矩陣B之行列式值。 反矩陣之使用 5.7 矩陣之基本定理 一些常用的矩陣基本定理： 5.25 5.26 5.27 5.28 5.29 5.30 5.31 5.32 5.33 5.34 5.35 5.36 5.37 5.8 隨機向量與矩陣 隨機向量與矩陣之期望值 一般情形下，一個隨機向量Y之期望值我們可以表示為： 5.38 而對於一個階數為n × p之隨機矩陣Y，我們可以將其期望值表示為： 5.39 隨機向量之共變異矩陣 我們可以用來表示Y的共變異矩陣： 5.40 由於 5.41 在上述的例子中，我們有： 經過矩陣之相乘運算，並取期望值後，我們可以得 到下面結果： 將上述結果推廣至一個n × 1的隨機向量Y，其共變 異矩陣為： 5.42 基本定理 有時我們經常會遇到一個常數矩陣A（元素固定之矩陣），乘上一個隨機向量Y，而形成一個隨機向量W如下： 5.43 則可能會用到一些基本定理： 5.44 5.45 5.46 其中， 為Y的共變異矩陣。 多元常態分配 密度函數 我們先定義一些向量與矩陣，假設觀測值向量Y是由p個Y變數所組成，則習慣上可以寫成： 5.47 我們用符號表示向量Y之期望值E Y ，所以 5.48 最後，Y的共變異矩陣 用符號 來表示： 5.49 所以，對於一個多元常態分配的密度函數，我們可 以寫成： 5.50 其中， 表示共變異矩陣 之行列式值 5.9 簡單線性迴歸模型的矩陣表示 在本節中，我們將利用矩陣來處理簡單線性迴歸，首先考慮的是常態誤差迴歸模型 2.1 ： 5.51 亦即， 5.51a 另外我們還需增加迴歸係數所組成的向量： 5.52 於是我們可以將 5.51a 利用 矩陣做一個較為精簡的表達方式： 5.53 因為 上式中 表示各個觀測值Yi之期望值所組成之向量，而 ，所以 5.54 我們可以將條件寫成矩陣之形式： 5.55 上式所代表之意義為： 誤差項之共變異矩陣可以表示如下： 5.56 而此一共變異矩陣為一個純量矩陣，所以我們可以進一步表示為： 5.56a 因此常態誤差迴歸模型 2.1 寫成矩陣形式為： 5.57