第五章随机过程变换和滤波.doc

第五章 随机过程的变换和滤波 概率论的主要应用之一，是从可利用的资源汇总，对随机变量做出估计。一般将，这种问题的最优解是很难分析的。然后，若只允许对数据进行线性运算，以及“最优性”是在均方意义下理解的话，那么问题就大大简化，这就是线性均方估计问题。这个问题最早由维纳考虑并解决，与此同时，柯尔莫哥洛夫也独立的完成了此项工作。 他的解法完全基于正交性原理。 可简单的将此原理推广到随机过程； 因而，各种看起来似乎没有关系的估值问题，都可以作为这个原理的明显应用来处理，而不需要用到变分法或任何其它高级的工具，也不需要一次又一次的重复地解同样的问题。 在下面的讨论中，我们将讨论随机信号的最优处理问题。分别针对时间连续和时间离散的信号，将介绍在最小均方意义下具有最优逼近特性的变换。随后我们讨论离散变化，最有线性变化和最优线性滤波的关系。 5.1 时间离散 Karhunen-Loeve 变换 在所有的线性变换中， Karhunen-Loeve 变换 （KL变换）是一个在最小均方意义下最佳逼近随机过程的变换。同时，KL变换是一个具有不相关系数的信号展开。 这种特性在很多数字信号处理方面如编码和模式识别有重要的应用。 这种变换适用于连续时间和离散时间信号处理。 本节将详细讨论离散情况。 不失一般性， 考虑零均值实随机过程 （5.1） 设 是 维实向量空间 的一组正交基， 随机过程 可被表示为： （5.2） 这里 可看成由正交基构成的正交矩阵， 。 可以看出： (5.3) 假定： (5.4) 这里 是未知的实数， 且 由（5.3）和 （5.4）可知 （5.5） 令： (5.6) 那么， （5.5）可被写成： （5.7） 通过观察，我们可发现下列方程的解也满足方程 （5,7）. 由于 是一个协方差矩阵，他的特征值问题具有下列特征值： 特征值是实数。 协方差矩阵是一个正定或半正定矩阵，也就是説他的所有的特征值，有 属于不同特征值的特征向量是正交的。 若特征值是矩阵特征方程的 重根， 则存在属于 特征值 的 个互相正交的特征向量。 因此， 个正交的特征向量总是存在的， 通过单位化特征向量， 我们可以获得 KL 变换的正交基。 复随机过程 对于复随机过程，条件 （5.4）变成： 这就产生特征值方程： 这里 是一个协方差矩阵 的特征值是非负实数，其特征向量是两两相互正交的。 KL变换的最佳逼近特性 假定协方差矩阵的特征值满足 。由 （5.4）知： （5.8） 假定 是 的一个逼近， 我们有： （5.9） 显然，通过属于大的特征值的特征向量逼近，将导致小的均方误差。 为了说明KL 变换在所有正交变换中导致最小可能的错误，我们看在条件 下的最大值，这里 ，这就意味着求下列条件极值的最大值： 其中是 Lagrange 乘数。 令梯度等于0，可得： 这正是（5.7）计算特征值问题。 KL 变换的最小几何平均特性 对于任何的正定矩阵 ，下面特性成立： 等式成立当且仅当是对角矩阵。KL 变换将导致对角协方差矩阵， 这说明KL 变换将导致具有最小几何平均协方差的随机变量。 白噪声过程的KL 变换 假定是白噪声过程的协方差距阵，且： 我们有： 通过这里可看出，白噪声过程可通过任意的正交基逼近。 协方差矩阵之间的关系 令： （5.7）可写成： 同时可得到： 应 用 在模式识别中，常常采用几个简明的特征来分类信号。我们将感应圈安放在公路上，用于测量当交通工具（小汽车（car），卡车(truck)，公共汽车(bus)等）通过他们时的感应的变换情况。这里，我们考虑两组小汽车和卡车。在适当的预处理后，我们获得的测量信号如下图。对应于小汽车和卡车的随机变量分别为和。他们的实现记为和， 首先，生成零均值的随机过程