主成分分析及算法.pdfVIP

( ) 第 21 卷第 1 期 苏　州　大　学　学　报 自然科学版 Vol. 21 ,No. 1 ( ) 2005 年 1 月 JOURNAL OF SUZHOU UN IV ERSIT Y NA TURAL SCIENCE EDITION Jan. 2005 文章编号 (2005) 主成分分析及算法 李玉珍 ,王宜怀 (苏州大学 计算机科学与技术学院 ,江苏 苏州 　215006) ( ) 摘 　要 : 以主成分分析 PCA 特征结构的理论分析为基础 ,分别从神经网络和向量量化器两个不同的角度给 出了最大主成分线的算法实现和比较 ,并由此讨论了 HEBB 算法对学习率的依赖和敏感度. 关键词 :主成分分析 ;神经网络 ;学习率 ;算法 中图分类号:O2422 　　　文献标识码 :A 0 　引言 ( ) 主成分分析 principal component analysis ,PCA 也许是多变量分析中最古老和最著名的技术. 最早是由 [1 ] [2 ] PEARSON 在 1901 年的生物学理论研究中引入的. 1933 年 ,HO TELL IN G 将此想法应用于心理学研究 , 并得到了进一步的发展. 1947 年 , KARHUN EN [3 ]独立地用概率论的形式再次将其显现出来 ,其后 ,LOE’V E 将该理论进一步扩充和完善. 故 PCA 理论也称为 KARHUN ENLOE ’V E 变换. 主成分分析主要产生于以下动因 :即希望设计一种变换 ,将数据集转化为由维数较少的“有效”特征成分 来表示 ,而不减少原始数据所包含的内在信息内容 ,使其在统计意义下达到方差最优的目的 ,故该问题亦称 为特征抽取. 当只截取第一有效成分时 ,PCA 称为最大线性主成分分析. PCA 理论可以应用到数据挖掘、信 息压缩、图像编码以及模拟识别等诸多领域. 1 　主成分分析的特征结构分析 在文献[4 ] 中 ,PCA 问题被描述如下: 假定 x 为数据空间 Rd 上的服从某一分布的随机向量, 且 E ( x) = 0 ( ) 将向量聚集于中心 , 那么是否存 ∧ d d ( ) 在一个可逆的线性变换 T : R →R , 使得 Tx 的截取Tx 为 x 的k 个 k ≤d 顺序特征抽取值. 那么 PCA 问题如何转化为特征值问题 ?这个可逆的线性变换 T 是否存在呢 ?为什么需要这样的转化呢 ? 为了解决这一系列问题