- 1、本文档共141页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
盲信号分离及其应用 课件
定点学习算法中需要找一个方向,即一个权值w,使得投影wTx是具有最大的非高斯性,这里的非高斯性由负熵来量度。负熵的近似式用峭度来表示,但是用峭度的方法对数据比较敏感,所以Hyvarinen和其他研究人员提出了用一种更稳健和速度更快的方法来计算负熵。 合肥工业大学 计算机与信息学院 图像信息处理研究室 FastICA算法的的流程为: 对输入数据进行预处理(白化处理),得到零均值单位方差的信号,得到神经网络的数据。 初始化权矢量W,并归一化。 对权值W进行迭代更新,即 归一化权值W=W+/||W+|| 合肥工业大学 计算机与信息学院 图像信息处理研究室 在实际中FastICA算法中所用到的期望都必须用它们的估计所代替,当然最自然的估计是相应的样本均值,理想的应该是用所有的数据,但这样计算量会很大。样本的数目多少会对估计的精度产生影响,如果收敛效果不是很好,可以适当增加样本的数目。 合肥工业大学 计算机与信息学院 图像信息处理研究室 FastICA算法具有非常快的收敛速度。 对于一元FastICA算法,独立分量是被一个个分别估计出来,这大致等价于射影追踪(projection pursuit)[37],这在探索性数据分析中非常有用。 合肥工业大学 计算机与信息学院 图像信息处理研究室 由于该算法对观察数据进行了白化处理,因此在源信号混合比强弱大小相差大的情况下算法失效。 定点算法对于各类数据都适用,也可用于分析高维数据,具有较为广泛的应用价值。 返回 合肥工业大学 计算机与信息学院 图像信息处理研究室 H-J算法中使用了非线性函数,这里一般将f()和g()用以下的函数表示: 或者 合肥工业大学 计算机与信息学院 图像信息处理研究室 算法的实质就是引入了信号的高阶统计信息,其学习规则是Hebb学习规则在高阶意义下的推广,不过由于学习每一步过程中都要对矩阵(I+W)求逆,导致运算量增加。 合肥工业大学 计算机与信息学院 图像信息处理研究室 H-J算法中非线形函数的选取具有随意性,在理论上没有给出令人满意的收敛性证明,但是在实际应用中的收敛性相当不错。不过需要注意的是H-J算法仅用于观察信号数目与源信号数目相同的情况下,仍然具有一定的局限性。 返回 合肥工业大学 计算机与信息学院 图像信息处理研究室 最大熵算法 从信息理论角度来考虑,盲信号分离问题就是一个以分离系统最大熵为准则,利用神经网络或自适应算法,通过非线性函数来间接获得高阶累积量的过程。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这种方法的思想就是当神经元输出Z的各个分量zi相互独立时,其熵最大,所以这种方法又称为最大熵(Maximum Entropy, ME)方法。 合肥工业大学 计算机与信息学院 图像信息处理研究室 Bell和Sejnowski的这种方法[25]是将Linskers的信息传输最大化理论[17][62]推广到非线性单元来处理任意分布的输入信号。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这一原理具体内容如下:假设信号通过S型函数传输时,如果该S型函数的斜率部分与信号的高密部分保持一致时,则可以实现信息的最大化传输。 这一原理可以使用梯度下降法通过自适应方式来实现。 合肥工业大学 计算机与信息学院 图像信息处理研究室 由最大熵原理可以知道,当输出熵最大时,互熵也最大,即有最多的信息通过了可逆变换从输入端传输到输出端。 合肥工业大学 计算机与信息学院 图像信息处理研究室 这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的最多信息原理(Infomax Principle)描述:当函数G的最陡部分与输入变量的最陡概率部分向重合时,最大的信息从输入端传导了输出端。 所以有时候也把Bell和Sejnowski的这种方法称为Infomax算法。 合肥工业大学 计算机与信息学院 图像信息处理研究室 最大熵算法网络结构示意图 合肥工业大学 计算机与信息学院 图像信息处理研究室 对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出Y(t)中包含的关于其输入X(t)的互信息最大。 合肥工业大学 计算机与信息学院 图像信息处理研究室 互信息定义如下: 合肥工业大学 计算机与信息学院
您可能关注的文档
最近下载
- 幼儿园伙食培训.pptx VIP
- 新型城镇化背景下乡镇行政管理体制改革的出路.docx
- 第15课 无人机创意飞行-九年级信息科技(浙教版2023).ppt
- c guiqt4编程(第二版)(中文高清pdf扫描版) 随书源码.pdf
- 工贸行业企业岗位安全生产责任清单(参考模板2.0).docx VIP
- 城市社区公共文化服务建设问题及对策研究——以南京市彩霞社区为例.docx
- 篮球运动竞赛的组织与编排工作教案.pdf VIP
- 人教版七年级上册数学期末动点问题压轴题专题训练(含答案).docx VIP
- 包装行业的包装设计与安全标准培训.pptx
- 感恩教师,伴我成长——教师节大会学生国旗下的讲话稿.docx VIP
文档评论(0)