4模式识别第四讲-复习2.pdfVIP

复习Ⅱ 随机向量的运算 • 统计模式识别不仅要用到概率和统计的工统计模式识别不仅要用到概率和统计的工 具，而且要用到线性代数。 • 这一章复习线性代数中的一些概念，如向 量、随机向量的变换等。 • 并进一步复习概率论中的一些概念，如随 机变量间的相关性机变量间的相关性、、协方差矩阵协方差矩阵、、多元高多元高 斯分布等。 ©北京工业大学计算机学院® 1 一. 内积内积、向量空间和基向量空间和基 • 令令xx 和和yy 是实值的向量是实值的向量，，其分量分别为其分量分别为xx 和和yy ，， ii ii i=1 ，2 ，…，n 。x 和y 的内积（有时也称为 点积点积、、数量积数量积））定义为定义为：： • 如果x T y =0 ，则x 和y 是正交的。 y y • 向量的模定义为 ©北京工业大学计算机学院® 2 • 向量空间向量空间XX ，，非形式地说非形式地说，，nn维向量所在的维向量所在的 空间。 • 如果在如果在X 中存在中存在一组向量组向量u ，u ，…，u ， 1 2 n 使得任一矢量x 可以表示为u ，u ，…，u 1 2 n 1 2 n 的线性组合 的线性组合， 式中式中 是实数是实数，则称则称uu ，uu ，…，uu 形成形成 1 2 n X 的一组基。 称为x对基{u }的分量。 i ©北京工业大学计算机学院® 3 • 如果{u }满足： i 则称基是标准正交的。 • 当基是标准正交的时，它们就定义了一个 笛卡尔坐标系 而且有 笛卡尔坐标系。而且有 ©北京工业大学计算机学院® 4 • 以一个三维向量为例。 ©北京工业大学计算机学院® 5 二二. 线性变换线性变换 1. 一般的线性变换般的线性变换 • 一个线性变换可以用一个矩阵 A 来表示， 将向量空间中的将向量空间中的一个向量个向量xx 变换为另变换为另一个个 向量 y ： ©北京工业大学计算机学院® 6 2 标准正交变换 2. 标准正交变换 • 若若S是是一个方阵个方阵，满足关系满足关系 ， 则S称为标准正交变换（矩阵）。和逆矩阵 比较比较一下下，，有标准正交变换矩阵有标准正交变换矩阵 。 • 标准正交变换保持向量的模不变，因为