自适应滤波.ppt

显然，两概率分布相等时，发散度为零。 对于多变量x有 发散度是非负的，最小值为零。 发散度具有对Y的置换变化和幅度变化的不变性。 目标函数及其优化 ②使用K-L发散度描述变量间的独立性 由于随机矢量Y中各元素相互独立时，其联合概率密度等于其各边缘概率密度的乘积。因此，可用发散度来描述两者的差值。令第i个元素的边缘概率密度为 可定义发散度 目标函数及其优化 ③发散度的熵表现形式 据上式及熵的展开式，又可把KL散度或互信息近似表示为高阶累量 边缘分布： 目标函数及其优化 4 优化算法 目标函数确定之后，就需要使用一定的算法将其优化，以实现相互独立的要求。优化算法大致分为两类：块处理和自适应递归处理。 1）块处理。块处理的含义是指依据一批已经取得的数据来进行处理，而不是随着数据的不断输入作递推式处理 2）自适应递推处理。自适应递推处理一般是与神经网络相结合，应用范围比块处理更广泛。 目标函数及其优化 代价函数确定后，下一步任务是推导自适应算法以实现代价函数的优化 1 信号通过线性系统前后信息特征的变化关系： ①熵关系： 自适应盲处理算法概述 ②KL发散度关系： 对正交变换阵W，变换前后熵相等。 自适应盲处理算法概述 KL发散度对任何线性变换具有不变性。 ③互信息关系： 因此，对于正交归一变换，如果y的各分量的信息熵总和与x的各分量的信息熵总和相等，则x各分量间的互信息与y各分量间的互信息相等。对于独立分量分析或BSP而言，这显然是不希望的情况。为了BSP，我们应选择w，使y各分量间的互信息最小化。 自适应盲处理算法概述 ④负熵关系： 利用上面的关系及零均值单位方差高斯函数表达式可证明： 可证明，不论W是否正交归一，上式中后两项相等。因此，负熵在线性变换前后具有不变性。 据负熵、互信息的定义及零均值单位方差高斯函数表达式可证明： 自适应盲处理算法概述 2 自适应盲处理算法推导的一般过程 (以互信息极小法(MMI)为例) ①确立代价函数 自适应盲处理算法概述 而当y的各分量相互独立时，y的协方差阵为对角阵，上式中第三项为零。因此，互信息为零等效为y的各分量负熵之和取得最大值J(y)。所以，y中各分量间互信息的最小化等价于y中各分量负熵之和最大化。 ②按LMS算法求梯度 ③ 为避免求熵的困难，将熵近似用高阶累量表示 自适应盲处理算法概述 又因为峭度又可表示为四阶矩，所以上式是三阶矩和四阶矩的高度非线性函数，记为 上式中园圈表示两列矢量对应项相乘，其结果仍为列矢量 按LMS算法，上述计算中的均值一律按瞬时值计算，即计算瞬时梯度。 自适应盲处理算法概述 ④ 应用LMS算法得到分离矩阵自适应迭代公式 上式为自适应BSP公式的一般形式，随着代价函数的不同，ψ(y)可能取不同的形式。 ⑤应用自然梯度的自适应迭代公式 自适应盲处理算法概述 为了消去上式中矩阵求逆，同时也可加快迭代收敛速度，1996年，日本学者Amari提出用自然梯度代替上述常规梯度，即 为使算法稳定，可使用归一化处理： ⑥使用相对梯度的迭代公式 令代价函数的一般形式为：J(W)=E[f(y)] 定义相对于W(n)的相对梯度为： 自适应盲处理算法概述 自适应盲信号处理简介 自适应盲信号处理的基本概念 数学建模 可解性与独立性 目标函数及其优化 自适应盲信号处理算法概述 盲信号处理的基本概念简介 1 定义 这种波形估计允许一定的不确定性 当传输信道特性未知时，从一个传感器阵列或转换器的输出信号中分离或估计源信号波形的信号处理过程。 关键是要寻求到一个稳定的逆系统(重构系统、神经网络或自适应逆系统)，以便估计源信号波形 2 ”盲”的含义 ①源信号波形未知；②源信号混合方式未知 盲信号处理的基本概念简介 如果源信号波形或混合方式中有部份信息是已知的，则称半盲信号处理。 盲信号处理与系统辨识的差别在于后者的源信号波形至少特性是己知的。 盲信号处理的基本概念简介 3 盲信号处理与独立分量分析（ICA） 独立分量分析的主要目的是确立一个线性变换矩阵，使变换后的分量尽可能统计独立。虽然盲信号处理有时也要利用源信号的统计独立特征，但它的重点在于源信号波形的估计精度。ICA是一种可用于BSP的重要算法，但其着眼点是有差别的。ICA主要使用高阶统计量进行 4 BSP的方法及分类 在盲信号处理中，就源信号经过传输通道的混合方式而言，其处理方法可分为线性瞬时混合信号盲处理、线性卷积混合信号盲处理和非线性混合信号（后非线性混合、完全非线性混合等）盲处理三类。 盲信号处理的目的可分为盲辨识和盲源分离两大类。 盲处理的大部分方法是依据一定的理论构造目标函数的无监督学习方法。 盲信号处理的基本概念简介