(机器学习作业)基于稀疏表示的数据缩减算法汇.doc

基于稀疏表示的 数据缩减 学 院： 学 号： 姓 名： 年 级： 导 师：  目 录 1 稀疏表示理论 3 1.1 稀疏表示基本理论 3 1.2 基于稀疏表示的人脸识别及实验 4 2 基于稀疏表示的数据缩减算法 6 2.1 算法思想 6 2.1.1 实例分析 7 2.1.2 对比分析 8 2.2 人脸数据库介绍及实验仿真结果 10 2.2.1 ORL库[2]的仿真结果与分析 10 2.2.2 PIE人脸数据库[7,8]的仿真结果与分析 14 2.2.3 Extended Yale b库的仿真结果及分析 16 3 小结 18 参考文献 19 附录 论文程序源代码 20  1 稀疏表示理论 1.1 稀疏表示基本理论 稀疏表示广泛的应用，例如模式识别等。Wright et al[1]等提出基于稀疏表示的人脸识别方法Sparse Representation based Classification，SRC 假测试图像，（表示图片长度方向像素个数，表示图片高度方向像素个数），将整个图像库中的所有训练样本直接作为字典，测试样本可以通过字典中的原子进行线性表示。而理论上每个训练样本仅与字典中同类的所有原子相关性最大，与非同类的原子相关性较小或者无关，因此最理想状态下，测试样本仅仅需要使用字典中同类原子线性表示进行重构，而其它类别的样本系数值很小，几乎为零。 由上述理论可知，测试属于第类，则它仅需要由同类的可以线性组合表示，如下所示： 若在所有字典上进行线性表示，则表达式如下： （1-2） 其中和为： （1-3） 解集为，在理论上应是稀疏的，即仅有少数元素数值为非零的，大部分元素值为零值或很小。 按照稀疏表示模型，求解方程： （1-4） 其中代表范数，中非零元数的，范数的求解是一个NP问题理论证明，信号足够稀疏，的求解 范数模型： 1.2 基于稀疏表示的人脸识别及实验 ORL人脸库[2]共有40个类，每类有10张图片，在本实验中采用ORL库，将每类前5张图片作为该类的字典，则所有类组合成的字典将拥有200个原子，其中图1.1就是第一类样本的第6张图片在该字典上求解的系数分布，横轴为原子，纵轴为原子对应的系数值。从上图可知，系数是稀疏的，大部分系数数值为0，且属于同一类的样本解出来的系数较大，与相关性越大 为了对测试样本进行分类， （1-6） 其中，提取出第类对应的系数，类样本重构测试样本。根据公式（）如图所示 图.1　基于稀疏表示的 可见，第一类字典对测试样本的重构残差最小，其它类字典对样本的重构残差较大，即测试样本和第一类字典原子最相似，因此应属于第一类，与实验已知结论相符。 综上所述，基于稀疏表示的人脸识别算法流程如下： ①给定训练样本矩阵：，有个类的样本，共有个样本，给定测试样本，并对和字典的每列原子进行归一化。 ②求解下面最小范数： ③计算残差： ④对测试样本进行分类 图重构残差图 针对目前的数据缩减算法都不能较好地刻画出数据的空间相互关系和模式的空间分布。此外，它们对含有遮挡、腐蚀的数据进行分析时，性能退化很明显。而稀疏表征从感知角度较好地刻画了数据的相互关系和分布，因此，提出了从稀疏表征学习入手，选择出具有代表性的数据，使得一方面能较好地刻画出数据的内在几何特性和空间分布，另一方面对腐蚀、遮挡具有好的鲁棒性。并在人脸样本库进行实验，选择具有代表性的样本，然后用对选出的样本图像进行分类以验证选出的样本的好坏。 通常原始的人脸库样本的数据量非常大，在此情况下进行分类很耗时而且过多的数据也会影响最终的识别率。因此对原始人脸库样本数据进行缩减期望达到的效果是：1）减少冗余数据量提高计算速度2）选出的样本代表性强，不影响分类的识别率。 假设原始样本集共有个样本，设定稀疏表示系数阈值为，重构残差阈值为。 用所有训练样本做字典，即。对字典中的每一个原子，用除去自身的样本做字典，求解稀疏表示系数，生成系数矩阵，求解模型为： ， 利用系数矩阵从中选择样本，使其能很好地描述：若中某元素满足，则将其取出构成新的系数矩阵。将中元素对应的中的原子取出，构成新的字典。用系数矩阵和字典对样本进行重构，得到其重构残差为：。若满足：，则将从中删除掉。最后得到缩减后的字典即训练样本集为：。用图形表示上面的思想如图2.1所示： 图2.1　算法