模式识别PaternRecognition.pptVIP

模式识别Pattern Recognition 线性代数与概率统计基础 行列式与线性方程组 矩阵 向量 矩阵的特征值与特征向量 二次型 多元随机变量的统计特征 多元随机变量协方差矩阵的性质 二次型化为标准形 梯度（下降）法 行列式与线性方程组 行列式： 解线性方程组的克莱姆法则 对于线性方程组： 矩阵 Matrix: 由m*n个数aij排列成的m行n列的数表：Am*n=[aij]m*n 方阵：m=n 对角阵：∧=diag(a11,a22,…,ann) 单位阵：E= diag(1,1,…,1) 上三角阵与上三角阵 矩阵的运算 矩阵的乘法：C=AB noc(A) = nor(B) noc(C) = noc(B) nor(C) = nor(A) 分块矩阵及其运算 分块矩阵：用横线和竖线把矩阵分成若干小块，每个小块为一个矩阵，它可以作为一个元素参加运算。 分块对角阵： |A|=|A11||A11|…|A11| 向量 n维向量：x=(x1,x2,…,xn)T 线性相关与线性无关： 设有n维向量组： x1, x2,…, xm，如果只有当k1= k2=…=km=0时，才能使下式成立，则称该向量组线性无关。否则为线性相关。 向量(二) 如果向量组A = (a1, a2,…, am) = (b1, b2,…, bm)C = BC，称A可由向量组B线性表示。 rank(A)=nov(A的最大线性无关组) 向量的内积: 向量(三) 两向量正交：(x,y)=0, cos(θ)=0 若非零的n维向量x1, x2,…, xm两两正交，则称为正交向量组。 正交向量组线性无关。 若n维向量y可由正交向量组x1, x2,…, xm线性表示，则： 矩阵的特征值与特征向量 方阵A的特征值λ与特征向量α: Aα=λα 方阵A的特征多项式：|A-λE| 方阵A的特征方程： |A-λE|=0 特征方程的解λ为特征值，方程 (A-λE)x=0的非零解向量就是方阵A的属于特征值λ的特征向量。 如果存在可逆方阵P，使P-1AP=B，则称A与B相似，记作A~B。 相似关系具有反身、对称、传递性。 相似矩阵有相同的行列式，即|A|=|B| 相似矩阵有相同的特征多项式及特征值 相似矩阵 n阶方阵A与对角矩阵∧相似的充要条件是A有n个线性无关的特征向量。 如果A~∧，即有P-1AP= ∧=diag(d1,d2,…,dn)，则d1, d2, …, dn是A的n个特征值。 实对称矩阵： 特征值为实数 两个相异的特征值对应的特征向量正交 n阶实对称方阵A有n个线性无关的特征向量 n阶实对称方阵A与对角矩阵相似 正交矩阵 正交矩阵A，有AA’=E，即A-1=A’ 正交矩阵A与B的乘积AB仍为正交矩阵 正交矩阵A的行列式|A|=1 正交矩阵A的行(列)向量组为正交单位向量组，即： 二次型 二次齐次函数： 标准二次型 A=∧时为标准二次型(只含平方项) 对于任何二次型： 正定二次型和正定矩阵 二次型f(x1, x2, …, xn)，如果对于任何 x12 + x22 +…+ xn2 ≠0，都有f 0，则称f为正定二次型。其矩阵A为正定矩阵(A0)。 n阶方阵A正定的充要条件是：A的n个特征值全为正的。 n阶方阵A，若存在可逆矩阵B，使A=B’B，则A为正定矩阵。 多元随机变量的统计特征 n维随机变量：x=[x1,x2,…,xn]T n维随机变量的（总体）均值： n维随机变量的（样本）均值： n维随机变量的（总体）相关函数矩阵： n维随机变量的（样本）相关函数矩阵： n维随机变量的（总体）协方差矩阵： n维随机变量的（样本）协方差矩阵： n维随机变量协方差矩阵的性质 n维随机变量协方差矩阵C是实对称矩阵 协方差矩阵C的特征值为实数 C有n个线性无关的特征向量 存在正交矩阵U，使U-1CU= UTCU=∧， ∧是以C的特征值为对角元素的对角矩阵，U=[u1,u2,…,un]，C ui=λi ui 任何二次型总可找到正交变换化为标准形，即： 二次型化为标准形 梯度（下降）法 梯度（下降）法 选择初始点a0，给定容许误差ε，设定学习率η。设k=0； 计算梯度▽J(ak)； 修改ak： ak+1 = ak -η▽J(ak) 计算J(ak+1)，并检验|J(ak+1)- J(ak)|ε，若满足则转6 k=k+1，转2 输出结果，结束 *线性代数与概率统计基础 * 武汉大学电子信息学院 补充材料 模式识别导论 补充材料 行列式的计算： 化为三角行列式计算： 按行（列）展开计算： 补充材料 如果行列式 D=|aii|≠0，则方程组存在唯一解 齐次线性方程组(即b=0)，有非零解的充要条件是D=|aii|=0 补充材料 补充材料 矩阵的转置：A=(aij), A’=AT=(aji) 对称方阵