多核支持向量机及其在人脸识别中的应用-概率论与数理统计专业论文.docxVIP

重庆大学硕 重庆大学硕士学位论文 目 录 PAGE PAGE IV 目 录 中文摘要I 英文摘要 II 1 绪 论 1 1.1 研究的背景与意义 1 1.2 多核支持向量机的研究现状 1 1.2.1 合成核的构造 1 1.2.2 合成核的学习方法 2 1.3 人脸识别的基本理论 3 1.3.1 人脸识别的研究现状 3 1.3.2 人脸识别的流程 3 1.4 论文的主要工作及内容安排 4 1.4.1 论文的主要工作 4 1.4.2 论文的内容安排 4 2 支持向量机 5 2.1 支持向量机的统计学基础 5 2.1.1 分类问题的统计学提法 5 2.1.2 经验风险最小化原则 5 2.1.3 结构风险最小化原则 6 2.2 从线性可分到非线性可分 6 2.2.1 线性可分问题的支持向量机 6 2.2.2 近似线性可分问题的支持向量机 8 2.2.3 利用核函数实现的非线性可分 9 2.3 核函数的特征与性质 10 2.4 支持向量机的算法流程 11 3 多核支持向量机 12 3.1 简单多核支持向量机 12 3.1.1 梯度计算 14 3.1.2 SimpleMKL 算法流程 15 3.2 局部多核支持向量机 15 3.3 改进的局部多核支持向量机 16 ILMKL 算法描述 18 ILMKL 算法复杂度分析 18 3.4 模拟数据上的实验 18 3.5 推广到多类分类问题 20 4 人脸图像的特征提取 22 TOC \o 1-2 \h \z \u HYPERLINK \l _TOC_250002 4.1 基于 PCA 的人脸特征提取 22 HYPERLINK \l _TOC_250001 PCA 方法的原理 22 HYPERLINK \l _TOC_250000 ORL 人脸库 23 4.1.3 主成分脸及其分析 23 4.1.4 人脸图像的重建 24 4.2 基于小波分析的人脸特征提取 25 4.2.1 二维离散小波变换 25 4.2.2 基于二维离散小波变换的特征提取 26 5 实验结果与分析 28 5.1 基于 UCI 数据库的实验 28 5.2 基于 ORL 人脸库的实验 29 5.2.1 基于 PCA 的人脸特征提取实验 30 5.2.2 基于小波变换的人脸特征提取实验 30 6 总结与展望 33 致 谢 34 参考文献 35 附 录 38 A. 作者在攻读硕士学位期间发表的论文 38 重庆大学 重庆大学硕士学位论文 1 绪 论 PAGE PAGE 10 1 绪 论 1.1 研究的背景与意义 支持向量机自提出以来，吸引了国内外众多学者的关注和研究[1]。该算法利用 核函数，将样本空间中的向量映射到高维的核特征空间中，以达到在核特征空间 的线性可分的目的[2]。其在小样本，高维度，以及非线性问题的识别的能力，要比 大多数的识别算法的效果好。但是，不同的核函数，同一核函数不同的核参数， 对于支持向量机泛化能力的影响是显著的[3]，而且核函数的构造至今也没有完善的 理论，在一些复杂的问题中，特别是数据具有异构性[4]，样本分布不平坦[5]，样本 的规模很大[6]，多核支持向量机要比单核支持向量机拥有更好的性能。Lanckriet 于 2004 年提出来多核支持向量机算法[7]。该算法通过将核函数组合起来学习，已 经成功应用到蛋白质的检测和手写数字识别。传统的多核支持向量机的合成核函 数是多个核函数的加权组合，对样本空间中的所有样本赋予同样的权值，而在实 际问题中，某个核函数的重要程度在不同的样本领域中可能是不同的，因此，有 必要研究合成核函数的变系数组合。 人脸识别(Face Recognition)是通过提取人脸图像的特征信息，对样本进行身份鉴 别的一种生物识别技术[8]。其广泛应用于门禁系统，安保监控系统等领域，但是人 脸图像往往具有维数过高，分布不平坦等问题[9]，并且，人脸图像的识别容易受到 光照，表情，姿态的影响[10-11]。为此，在人脸识别领域提出适合处理样本高维， 分布不平坦，样本信息异构的模式识别算法十分必要。 1.2 多核支持向量机的研究现状 多核支持向量机比单核支持向量机算法更加具有灵活性，近年来的理论和应 用已经证明多核支持向量机算法的比单核支持向量机算法具有更好的泛化能力和 更强的模型解释能力[12-13]，自从 Lanckriet 提出了多核支持向量机算法之后，多核 支持向量机成为了又一个机器学习的热点问题。在许多领域受到了人们的关注， 比如，模式分类[14-16]，模式回归[17-18]，特征提取[19]。多核支持向量机将不同的核 函数组合起来学习，以达到选取合适核函数的目的，将最后组合