wk-5独立成分分析[参考].ppt

Slide * Image processing operations Compression Noise reduction Modeling the biological visual system Slide * 3、图像的盲抽取 Slide * 4、医学图像分析—fMRI（功能磁共振成像） Slide * 5、生物医学信号处理—MEG（脑磁图） 观测数据： Slide * 5、生物医学信号处理—MEG（脑磁图） 分离结果： 谢谢! * * * * Slide * 非高斯性的度量—峰度 峰度： 由于计算和理论上的简单, 峰度或它的绝对值 函数作为非高斯性的度量已经在ICA和相关的 领域得到了广泛的应用(峰度对于独立的随机 变量具有线性性质). Slide * 非高斯性的度量—峰度 前面提到用峰度来度量随机变量的非高斯性, 它的优点是计算简单, 但在实际计算中, 它的 缺陷是对于野点相当敏感. 而负熵是一种更稳 定的度量非高斯性的方法, 但是它的计算较为 复杂. 负熵是基于信息论中熵的概念, 而随机 变量的熵与它所给出的信息有关, 随机变量越 没有结构, 越无序, 它的熵越大. Slide * 非高斯性的度量—负熵 离散随机变量y 的熵定义为 连续值随机变量y 的熵定义为 信息论中的一个重要的结果是说, 在所有具有 相同方差的随机变量中, 高斯随机变量具有最 大熵。这意味着熵可以作为非高斯性的度量。 Slide * 非高斯性的度量—负熵 事实上，这表明高斯随机变量是 “最随机”的， 或在所有的分布中是最缺乏结构的。对于某些 随机变量，如，Laplace分布，它集中于某个值， 有很清晰的聚类效果，所以它的熵相对较小。 为度量非高斯性，可以采用负熵。负熵J定义为 是与y具有相同方差的高斯随机变量。 负熵总是非负，为零时当且仅当y是高斯分布。 Slide * 非高斯性的度量—负熵 高斯分布： 1维： D维： Slide * 非高斯性的度量—负熵 负熵总是非负的, 当且仅当随机变量y服从高 斯分布时, 负熵为零. 负熵作为非高斯性的度 量从统计理论的角度来说, 是一个好的标准, 因为它在某些判据下是非高斯性的最优估计器. 但因为负熵的计算较为复杂, 难以直接应用, 所 以必须用某些方法来逼近它. Slide * 非高斯性的度量—负熵 负熵的一个近似表达式(随机变量假设为零均 值且具有单位方差): 其中, v是具有零均值且与y具有相同单位方差 的高斯随机变量, G是非二次函数, 实算中, 人们 可以选择不要增长太快的函数, 以获得稳定的 估计. Slide * 非高斯性的度量—负熵 已经证明下面的函数是很好的选择: Slide * ICA的估计原理 前面提到独立成分分析的一种思路： 最大化数据投影（相当于估计的源信号或独立 成分）的非高斯性。 在此之前，一般的，我们还需要数据的预处理。 Slide * ICA有用的预处理第一步：数据的中心化 1、假设混合变量和独立成分都是零均值的. 2、如果零均值并不成立, 我们可以通过预处理来达到这个条件. 一般的, 我们使用中心化观测变量这一技术, 即减去样本均值. 这意味着在用ICA算法处理数据之前, 原始的观测混合数据可以通过下式进行预处理: Slide * ICA有用的预处理第二步：数据的白化 白化的随机向量y指的是它的各分量是不相关 的, 并且具有单位方差. 换句话说, 随机向量y的 协方差矩阵是单位阵: 白化意味着我们将观测数据向量x进行线性变 换, 使得新向量 是白化的随机向量. 白化 有时称为球化.白化变换总是可行的. 白化的一 个流行方法是协方差矩阵的特征值分解(EVD): Slide * 三、ICA估计原理和算法 一般的, 对于标准的独立成分分析, 求混合矩阵 A等价于求它的逆矩阵W, 则独立成分就可以通 过下列表达式求出: 对于独立成分分析来说, 需要找到度量统计独立性的一些方法或者说目标函数, 也就是说, 当目标函数达到极大或极小时, 可认为达到了独立成分分析解的要求, 这可以用不同的优化算法来实现. Slide * 实现独立成分分析有两个主要部分： Slide * 非高斯性最大化 如前所述，最大化数据投影（相当于估计的源 信号或独立成分）的非高斯性，相当于度量源 信号的统计独立性的一种方法，它给出一个独 立成分或一个源信号。 而度量非高斯性有峰度和负熵两种方法。 用峰度或负熵作为最优化目标函数，来求解 最优化问题。 Slide * 学习算法简述 求解： min f(w) 1、梯度下降