盲信号分离及其应用 课件.ppt

定点学习算法中需要找一个方向，即一个权值w，使得投影wTx是具有最大的非高斯性，这里的非高斯性由负熵来量度。负熵的近似式用峭度来表示，但是用峭度的方法对数据比较敏感，所以Hyvarinen和其他研究人员提出了用一种更稳健和速度更快的方法来计算负熵。 合肥工业大学 计算机与信息学院 图像信息处理研究室 FastICA算法的的流程为： 对输入数据进行预处理（白化处理），得到零均值单位方差的信号，得到神经网络的数据。 初始化权矢量W，并归一化。 对权值W进行迭代更新，即 归一化权值W=W+/||W+|| 合肥工业大学 计算机与信息学院 图像信息处理研究室 在实际中FastICA算法中所用到的期望都必须用它们的估计所代替，当然最自然的估计是相应的样本均值，理想的应该是用所有的数据，但这样计算量会很大。样本的数目多少会对估计的精度产生影响，如果收敛效果不是很好，可以适当增加样本的数目。 合肥工业大学 计算机与信息学院 图像信息处理研究室 FastICA算法具有非常快的收敛速度。 对于一元FastICA算法，独立分量是被一个个分别估计出来，这大致等价于射影追踪（projection pursuit）[37]，这在探索性数据分析中非常有用。 合肥工业大学 计算机与信息学院 图像信息处理研究室 由于该算法对观察数据进行了白化处理，因此在源信号混合比强弱大小相差大的情况下算法失效。 定点算法对于各类数据都适用，也可用于分析高维数据，具有较为广泛的应用价值。 返回 合肥工业大学 计算机与信息学院 图像信息处理研究室 H-J算法中使用了非线性函数，这里一般将f()和g()用以下的函数表示： 或者 合肥工业大学 计算机与信息学院 图像信息处理研究室 算法的实质就是引入了信号的高阶统计信息，其学习规则是Hebb学习规则在高阶意义下的推广，不过由于学习每一步过程中都要对矩阵（I+W）求逆，导致运算量增加。 合肥工业大学 计算机与信息学院 图像信息处理研究室 H-J算法中非线形函数的选取具有随意性，在理论上没有给出令人满意的收敛性证明，但是在实际应用中的收敛性相当不错。不过需要注意的是H-J算法仅用于观察信号数目与源信号数目相同的情况下，仍然具有一定的局限性。 返回 合肥工业大学 计算机与信息学院 图像信息处理研究室 最大熵算法 从信息理论角度来考虑，盲信号分离问题就是一个以分离系统最大熵为准则，利用神经网络或自适应算法，通过非线性函数来间接获得高阶累积量的过程。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这种方法的思想就是当神经元输出Z的各个分量zi相互独立时，其熵最大，所以这种方法又称为最大熵(Maximum Entropy, ME)方法。 合肥工业大学 计算机与信息学院 图像信息处理研究室 Bell和Sejnowski的这种方法[25]是将Linskers的信息传输最大化理论[17][62]推广到非线性单元来处理任意分布的输入信号。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这一原理具体内容如下：假设信号通过S型函数传输时，如果该S型函数的斜率部分与信号的高密部分保持一致时，则可以实现信息的最大化传输。 这一原理可以使用梯度下降法通过自适应方式来实现。 合肥工业大学 计算机与信息学院 图像信息处理研究室 由最大熵原理可以知道，当输出熵最大时，互熵也最大，即有最多的信息通过了可逆变换从输入端传输到输出端。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的最多信息原理（Infomax Principle）描述：当函数G的最陡部分与输入变量的最陡概率部分向重合时，最大的信息从输入端传导了输出端。 所以有时候也把Bell和Sejnowski的这种方法称为Infomax算法。 合肥工业大学 计算机与信息学院 图像信息处理研究室 最大熵算法网络结构示意图 合肥工业大学 计算机与信息学院 图像信息处理研究室 对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出Y(t)中包含的关于其输入X(t)的互信息最大。 合肥工业大学 计算机与信息学院 图像信息处理研究室 互信息定义如下： 合肥工业大学 计算机与信息学院