第三章 信号变换基础ppt课件.pptVIP

球化———使输出z(t)的各分量 的方差为1，而且互不相关(但未必相互独立) 正交变换—使 的方差保持为1，同时使各 尽可能互相独立 相关性———二阶统计量的要求 独立性———通常为三阶和四阶统计量的要求 ICA——各分量在能量(方差)相等的条件下尽可能独立 PCA(或SVD)——按能量大小排序的分解，只保证分解出的分量互相正交 由于ICA是在某一判据意义下进行的寻优计算，两个内容： (1)一组信号接近互相独立的判据(或准则) (2)采用的具体算法 从原理上最根本的独立性判据是： ——概率密度函数的独立性 互信息 独立时 I(y)=0 判据一：利用统计独立性与互信息测度间的关系 H(y)——信息熵 (选择B）求y=Bx使I(y)达到极小 判据二：信息极大化判据(Informax) 判据三：极大似然判据 判据四：直接采用高阶统计量 非线性主分量分析——用于独立变量方分析，其结果与从信息论出发得出的结果相一致。此方法不是建立在信息论框架下，而是线性PCA的引申。 线性PCA： 特征矢量ui为基矢量，以内积 作为分解的权重 非线性PCA： 为内积的某一非线性函数 作为第二步的正交变换，选择正交变换矩阵U，y=Uz 优化判据 误差 极小 * 以三维空间为例 为一组基，向量ν在 的坐标为 取另一组基向量 ，其在原基向量 上的坐标分别为 即： 问：v在 下的坐标和在 上的坐标关系？ 设： v在 上的坐标为 即 可有： 将前式代入得： 由此可得： 上式表示三维空间任一向量在不同基下坐标应满足的一个线性关系。 一般地： 上式称为由变量 到变量 的线性变换。变换取决于矩阵： 信号(函数)的变换(线性) 特征向量与特征值----- 研究变换矩阵 ——n维非零列向量 C——n维方阵 使 —系数(对 的压缩或伸长系数) 称 ——C的特征向量 ——特征值 由于 ，有 求出 性质： （k为正整数） （称为“迹”，对角元素之和） （3）C的不同特征值对应的特征向量线性无关 （4）C--- 实对称， ---- 实数 线性无关且正交 矩阵的奇异值分解 (1)设X为N阶对称矩阵，则总存在正交矩阵Q使 其中 为矩阵X的特征值，而Q的N列向量组成X的一个完备的标准特征向量系。 (2)设X为MXN矩阵，秩为r，则存在M阶正交矩阵U和N阶正交矩阵V，使: 其中 而 是矩阵 的所有非零特征值，称 为X的奇异值，而 称为X的奇异值分解(SVD) -----基 -----对偶基 的变换 正交变换与正交函数系 正交变换与正交函数系 在线性变换y=Ax中，若A为正交矩阵，则称为正交变换： y A x 一般各种正交变换都能在不同程度上减少x的相关性。 x、y推广到函数 3.13 常用正交变换 (1)离散余弦变换 设 ，令 则 称为离散余弦变换 其中变换矩阵 ,它的元素 如 L(n)为正交矩阵——正交变换——图像信号处理 (2)K-L变换 其正交变换对应的矩阵由样本x的协方差矩阵 所对应的特征向量所组成的矩阵U，即 称y为x的K-L变换。称 为y的K-L展开 可以证明，在用方差作为衡量标准时，K-L变换是压缩特征空间维数的最佳标准正交变换，即用K-L变换压缩维数(或去掉一些较小的特征值 后)，所造成的均方差损失最小。 K-L变换 的协方差矩阵 是一个对角矩阵，即