独立分量分析法.ppt

独立分量分析法 报告人：巫书航 导师：山秀明 苏威积 目录 目录 问题的提出 数学准备 独立分量法具体算法 总结与展望 目录 目录 问题的提出 一、时域雷达信号分选 二、信号与随机变量间的关系 三、独立分量分析法(ICA)的基本问题 四、独立分量分析法(ICA)的历史与应用 数学准备 独立分量法具体算法 总结与展望 问题的提出：2、信号与随机变量间的关系 二、信号与随机变量间的关系 问题：随机变量X在实际中的体现？ 答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量的各阶矩，近而估计出pdf等全部统计信息。 问题的提出：2、信号与随机变量间的关系 对一个信号X(t)： 独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩，以及谈论它的pdf，独立、相关等统计特性。 例如： 问题的提出：3、独立分量分析法的基本问题 假设源信号若干个统计上相互独立的信号组成的，它们在空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。 问题的提出：3、独立分量分析法的基本问题 问题的提出：3、独立分量分析法的基本问题 几点说明： 1、解出来的Y只要求各分量独立，因而解不是唯一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。确切地说，需要找到某种判断函数G，使Y个分量独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步骤不同，有不同的独立分量分析法。 问题的提出：4、独立分量分析法的历史与应用 历史： 是盲信号处理的一种，是90年代后期发展起来的 ICA是盲信号处理的一个组成部分，20世纪90年代后期(1986、1991)发展起来的一项新处理方法，最早是针对“鸡尾酒会问题”这一声学问题发展起来的 鸡尾酒会问题：从酒会的嘈杂的声音中，如何分辨出所关心的声音 问题的提出：4、独立分量分析法的历史与应用 应用： 信号处理 码分多址通信，雷达信号分选等 生物医学 心电图(胎儿)，脑电图等 图像处理 图像压缩，数字识别，图像融合等 其他 地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、机械、化学等各个学科 目录 目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望 预备知识：一、统计数学知识 1、特征函数 2、第二特征函数 各分量独立时： 预备知识：一、统计数学知识 3、矩 n阶矩： 4、累计量 n阶累计量： 预备知识：一、统计数学知识 当各分量独立时： 只有 中一个非零，其他皆为零时， 不为零。 即互累计量为零。 (可作为检验独立的一个判据) 预备知识：二、信息论基本知识 1、熵 信号中平均所含有的信息量。随机信号 单变量： 多变量： 联合熵： 各分量独立时： 在协方差矩阵相同的概率密度函数中，高斯分布的熵最大。 预备知识：二、信息论基本知识 2、Kullback-Leibler散度 两个概率密度函数间相似程度的度量。 概率密度函数：p(x),q(x) 单变量： 多变量： 特点： 预备知识：二、信息论基本知识 3、互信息 可见 ，当仅但当各分量独立时， 互信息是各分量独立程度的最直接的量度！ 预备知识：二、信息论基本知识 4、负熵 任意概率密度函数p(x) pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分布的熵最大，所以负熵非负。 负熵用来度量p(x)的非高斯程度。 非高斯性另一种衡量方法：四阶累计量k4,峰度(kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 0,超高斯 k4 0,亚高斯 预备知识：三、概率密度函数的展开 高阶统计量形式： 设x零均值，方差1（白化数据） Edgeworth展开 Gram-Charlier展开 预备知识：三、概率密度函数的展开