5独立分量分析详解.pptVIP

§11.4 ICA的优化判据 最简单的逼近思路 输入信号的熵与B无关 等效于 极小 表示为高阶统计量的组合 若 不等于1，则 应除以 二、信息极大化判据（Informax） §11.4 ICA的优化判据 B y(t) x(t) y1(t) y2(t) yM(t) g1(*) g2(*) gM(*) r1(t) r2(t) rM(t) 用非线性函数 来代替高级统计量的估计 由于 是单调可逆，变换前后互信息具有不变性 接近信源的累计分布 判据：给定合适的 后，使输出的 总熵量极大，或 极小，或 极大 §11.4 ICA的优化判据 是接近信源的累积分布函数， 单增， 极小， 极大 可以用sigmoid，tanh等 §11.4 ICA的优化判据 通过非线性环节送出去的信息量最大， 最大 由于非线性环节确定，y一定下，r也确定 0 ∴ 极大， 极小 极大， 极小，各分量互信息极小 极大， ， 三、极大似然判据 §11.4 ICA的优化判据 ，定义 最大为极大似然估计 目标函数 极大似然估计含义：选择A，使 极大 ，B给定，y分量独立 ICA中： x的对数极大似然函数 在独立的条件下，可以证明 §11.4 ICA的优化判据 使L(B)极大 ∴ §11.4 ICA的优化判据 与B无关，可见 极大，意味着互信息 极小 §11.4 ICA的优化判据 四、高阶统计量独立性判据 在多变量情况下，y中个分量相互独立时，全部累计量=0，y的维数高时，计算量大，不太实用 §11.4 ICA的优化判据 五、判据近似逼近 判据涉及pdf pdf未知 pdf级数展开 适当选取非线性函数 简化，逼近 如：Informax，逐分量引入 使 极大 gi的选择，单增， 之间，常用sigmod，tanh， 等 §11.5 ICA的优化算法 批处理法：JADE 对一批已取得的数据进行优化 自适应算法： 对输入信号自适应处理 逐次提取 Joint Cumulant and Correlation based signal seperation with application to EEG data analysis §11.5 ICA的优化算法 一、逐次提取法 投影跟踪 1、思路：从“最独立的方向投影” 实际工作中，以“投影后数据的pdf（概率密度函数）距离高斯分布最远”，将各独立分量逐个提取出来，每提取一个，把该分量从原始数据中剔除 理由： ∴对y中的某个元素 有 §11.5 ICA的优化算法 若si非高斯的， 比yj更接近高斯分布 当vij其中只有一个为1，其余为0， yj=sk，距离高斯分布最远 最接近信源 实际上，A未知，只能通过改变B中的元素，使yj的分布最非高斯 §11.5 ICA的优化算法 度量非高斯程度--负熵 当 分布是高斯分布 越大，说明离高斯变量越远 §11.5 ICA的优化算法 2、方法： （1）负熵可以表示称高阶统计量的函数 较小，偶对称 结论： 与独立分量间的关系： 调节v使 达到最大/极大，就能得到独立分量 在一定约束条件下， 的极值对应与权重矢量v中只有一个元素为1，其余皆为0的情况，此时y的独立分量为某一独立分量s §11.5 ICA的优化算法 设有两个独立源 ，经混合阵A，B得 ∵ ∴ 由于s1，s2独立，有 或 由于s1，s2，y是零均值，方差为1 §11.5 ICA的优化算法 任务：使 极大 为便于讨论，设 上式极大发生在 此时 ∴ 极大能得到独立分量s1，s2 §11.5 ICA的优化算法 （2）为消除数据中的野点造成估计结果不够稳健的现象，可采用非多项式函数逼近概率密度函数 与 标准高斯分布（方差为1，均值为0）相差不太大时， 可用若干非多项式函数 的加权和来逼近： 满足： 正交归一性 矩消失性 §11.5 ICA的优化算法 可以证明 同时还可证明 负熵 极大 ∴只要选定合适的 ，求各 的统计均值就可以近似估计得 §11.5 ICA的优化算法 问题：如何选择 ① 统计特性 不难求 ② 的增长速度不能快于 对野点不敏感 实验中，N常取1，2— 和 ， 奇函数，用来表示概率密