特徵值.ppt

特徵值與多變量 Definition1 If A is an n?n matrix, a real number λ is called an eigenvalue of A if The nonzero vector p is called an eigenvector of A corresponding toλ. Eigenvalues and eigenvectors are often called characteristic values and characteristic vectors, respectively. Definition2 Let A be any n?n matrix. A number λ is an eigenvalue of A if and only if Definition3 A matrix U is invertible if and only if Up=0 implies that p=0. Hence p is an eigenvector of A if and only if A-λI is not invertible, and this in turn means that If x is an indeterminate, cA(x)=Det(A-xI) is a polynomial in x of degree n called the characteristic polynomial of the n?n matrix A. Thus the eigenvalues of A are precisely the roots of cA(x) Definition4 Let A be an n?n matrix. The eigenvalues of A are the roots of the characteristic polynomial of A. That is , they are the numbers λ satisfying cA(λ)=det(A-λI)=0 問題—多筆資料的描述 單變量—平均數、變異數 雙變量—二筆平均數、二筆變異數、一筆相關係數 多變量—?? 多變量資訊描述的簡化 y=k1x1+k2x2+…+kpxp yn?1=Xn?pkp?1 E(X)=X1?p→E(y)=E(Xk)=y1?1 V(X)=Sp?p→V(y)=V(Xk)=k’Sk 用一個平均數代替一組多變量的p個平均數 用p個變異數取代一組多變量的p?p個變異與共變數 原理1 找出一組加權指數矩陣k，讓新創變量y的變異數達到極大—在變異數極大的狀況之下，充分反映出多變量母體的特質。 原理2 Lagrange multiplier method： 原理3 |S-λI|=0稱為特徵方程式(characteristic equation) λ稱為特徵值(eigenvalue) 將λj代入(S-λI)k=0，解得kp?1稱為特徵向量(eigenvector) 多變量的變異共變矩陣S的特徵向量，即是能夠讓所有多變量作線性組合之後，變異數達到極大的權數矩陣。 範例1 範例2 特徵值與特徵向量在多變量的性質1 一般而言，多變量最佳線性組合的個數等於該多變量當中各個變數的個數。 針對相關係數(R)或變異共變異數(S)作最佳組合分析時，一般而言，所得到的特徵值與特徵向量的值並不會相同，但其隱含的意義極為類似。 若多變量中各個變量存有完全線性相依的情形時，則從S或R中萃取到最佳變量線性組合的個數，將等於該矩陣的秩值(rank)。 特徵值與特徵向量在多變量的性質2 若多變量當中的各個變量均完全線性獨立，此時對R作最佳線性轉換時，所有p個特徵值的值均等於1，且所有p個特徵向量的值只要符合k’k=1均可任取。 特徵值與特徵向量在多變量的性質3 若多變量當中的各個變量均完全線性相依，則所有p個特徵值僅有一個非零值，其餘的(p-1)個特徵值都為零。 亦即，僅存有唯一的一種最佳的線性組合方式。 特徵值與特徵向量在多變量的性質4 由於相關係數值必須介於+1~-1之間，這個條件使得S與R矩陣皆為p.s.d. (positive semi definite)。即|S|?0、 |R|?0 特徵值與特徵向量在多變量的性質5 由於S與R矩陣皆為p.s.d. ，故其所有的特徵值均不可能是負值。 不論是經由S或者R矩陣求得的特徵值與特徵向量，其所有特徵值與特徵向量重新組合的結果，可以把原先的S或者R矩陣重新加以複製還原。 特徵值與特徵向量在多變量的性質6 特徵值與特徵向量在幾何上的意義1 兩個變量的數據資料在幾何上之分布圖形，整體上多為圓形或橢圖形。 特徵值約略代表橢圖形長軸與短軸