主成分提取-讲稿-2014.docVIP

第六章 竞争和自组织网络 数据压缩 数学方法 NN方法 竞争学习网络 数据压缩实例（自学） 第六章 竞争和自组织网络 一. 主元（主成分）分析的概念和原理 图示 用基底（特征向量）来表示，有 要求 （在某种评价指标下） 二.主元分析的原理 设： （1）是样本集中的第个样本，，且该组样本的期望； （2）是单位向量； 若将向方向上投影，可得投影分量为： 其期望和方差为 其中： 为的自相关矩阵（计算实例见附件1）。如果不止一个（即要用多个基底来表示）则 在方向上的投影为 由此，原向量可表示为 压缩后的向量可表示为 数据压缩的目标是：使误差 的方差的期望达到最小： 在此意义上， 是的一个很好的近似。 【证明】：设的自相关矩阵为 ，则有： 为实对称阵（因为） 的个特征值 （ ）（1） 且特征向量是正交的，即： （2） 将按大小排序 用上述特征值对应的特征向量组成一个矩阵 （3） 由此，将（1）式用矩阵表示，有 （4） 由该式和正交性，得 （6） 将向各特征向量方向上投影，得 （7）  写成矩阵形式 由此， 压缩为 维后的向量可表示为 ，注意：为一向量 压缩前后的误差 为 的第个投影分量 的方差为 误差 的个投影分量 的方差和为 是较小的特征值之和。在此意义上 是的一个很好的近似 【注意】： 上述讨论并未说明 ，只是说明他们的方差存在着大小顺序： 【结论】：虽然用任何一组基底都可表示，但是，只有按上述方法来近似时（即）才是最好的近似。评价标准是： 的个主分量 的方差都是较大的那些。  基于主成分分析的特征向量提取 - 1 -