原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
第8章：隐变量方法（简介）8.1PCA方法降维PrincipalComponentAnalysis：PCA数据样本集（为了用下标表示主分量方便，用(n)表示样本序列，即设任何一个样本是M维向量可以用一个KM向量进行逼近表示，并对训练集外向量有好的泛化性PCA-特征分解为处理简单，假设在零均值假设下，自相关矩阵代替协方差矩阵，即对于训练集，自相关矩阵计算为（或扩展到）做特征分解，得所有特征值集：相应特征向量集：PCA-特征分解（续）取特征向量是归一化的，并构成特征矩阵并且对于训练集中或同生成概率所产生的向量定义向量为则有：这里是一对正反变换对PCA-特征分解（续）利用可得并且和PCA表示如果让特征值按大小排序仅取的前KM个系数即或这里是维矩阵且（）通过，可得的近似表示（注仍是M维向量）通过K维向量近似表示，称为的PCA表示PCA表示（续）PCA表示的能量定义误差向量误差向量评估PCA的解释通过训练样本集合得到K个主分量对于（来自训练集或一个泛化样本），近似表示用K维向量表示，其中是在的投影主分量分析的要点是用低维向量表示高维向量，是一种对高维数据的有效降维方法8.2PCA的在线算法给出训练样本通过在线迭代得到主分量1.推导第一个主分量迭代中，迭代时第一个主分量系数迭代时用：优化的目标函数为PCA的在线算法（续）在线算法中，目标函数采用用SGD算法，权向量更新为注：在神经网络的文献中，这类将权系数的更新表示为输入与输出乘积的形式，称为Hebb学习规则，这类算法称为Hebb学习算法PCA的在线算法（续）由于PCA中，固定故迭代中，每一步固定：迭代算法修改为：上式可近似为（留作练习）其中PCA在线算法--广义Hebb算法（GeneralizedHebbianAlgorithm，GHA）推广到有K个主分量初始化：，取小的随机数，构成随机向量，分别赋予令循环起始：对计算令，取，返回循环起始，直到结束8.3盲源分离和ICAIndependentComponentAnalysis，ICA存在独立源分量经过一个混合系统，产生可测量到的向量混合系统表示为最简单的混合系统混合系统未知，由测量向量估计源向量，欠定问题独立分量分析：ICA假设各源分量是统计独立的，即ICA定义为求解如下优化问题是描述的独立性的度量函数，是的估计给出样本集，，首先学习在线ICA系统框图ICA的常用算法不动点算法-Fast-ICA自然梯度算法最大似然ICA算法信息最大化ICA算法非线性PCA算法稀疏ICA算法等等不动点算法-Fast-ICA算法简介讨论抽取一个独立分量且目标函数是输出非高斯性最大化，目标函数为是一个选定的非线性函数利用牛顿迭代算法，得到Fast-ICA的几个推荐非线性函数非线性函数1阶导数2阶导数Fast-ICA算法描述初始步：观测数据向量首先白化，是白化向量，确定，，第1步，选择范数为1的随机初始权向量第2步，迭代计算第3步，若尚未收敛，返回第2步第4步，若，返回第1步隐变量分析问题混合模型的参数估计应用了离散隐变量方法PCA和ICA等方法实际是一种连续隐变量方法。隐变量问题，是信号处理、机器学习和现代统计学中公共关注的一个问题。本章附录：向量样本的白化由样本估计相关矩阵，并进行特征分解，得定义变换矩阵是白化的，即则在许多机器学习应用中，预白化是有效的预处理
文档评论（0）