稀疏与流形学习及其在人脸识别中的应用研究 - jdl联合实验室.pdfVIP

摘摘摘 要要要 随着信息电子技术的快速发展，人们需要处理日益增长的多媒体资源数据，例如 海量的图片、视频、文本以及声音数据等。如何对这些数据进行分析和处理，以便从 中提取用户所需要的有价值的信息，逐渐成为模式识别、机器学习以及计算机视觉等 领域的研究者们所共同关注的问题。不同于传统的少量样本的处理任务，目前的数据 处理更多的涉及到同一主题含义下大量样本的学习，即从孤立的单张/少量样本到数据 集合作为整体的处理，例如对监控摄像机下所拍摄的图像集（视频片段可以看作它的 特例）进行身份鉴别、场景分析或行为识别等任务。而对图像集数据的信息挖掘和利 用涉及到两个基本问题：1）如何建模图像集，以便从图像集中提取有效的特征表示； 2 ）如何建模图像集之间的关系，并设计合理有效的距离度量方法。 本文正是围绕上述这两个基本问题，从视频人脸识别这一特定任务出发，一方面 利用图像集自身的冗余性、相关性以及自相似性等特点，研究利用稀疏表示来建模图 像集的方法；另一方面，利用图像集数据的稠密性和非线性等特点，从流形的角度探 讨和研究图像集之间的关系，以设计图像集之间的鲁棒距离度量方法。本文的主要研 究工作具体包括： （1）提出了一个统一描述静态图像和视频序列的稀疏编码局部描述子框架，并 进一步提出了监督情况下的多尺度度量学习方法。该局部描述子通过统计建模人脸图 像/视频序列在空间/时空体区域上的特征表示，大幅度缓解了由于人脸图像欠配准问 题所引起的识别性能衰退现象。同时通过对原始特征的过完备稀疏表示增强了其相 应特征的描述能力。在该框架下，针对人脸图像包含多个区域描述子的问题，提出了 联合学习多个描述子的马氏距离方法，该方法整合了人脸图像的全局性信息。在真实 环境下的人脸图像数据库LFW[1]和人脸视频数据库YTF[2]上的实验表明了它们的有效 性。 （2 ）提出了一种基于稀疏自编码机的局部描述子，并进一步提出了针对人脸确 认任务的自编码预测机方法。基于上述（1）中的局部描述子框架，该方法利用自编 码机来前向推理稀疏表示的近似解，以加快特征提取的速度。在逐对样本分类的任务 中，自编码预测机尝试学习训练集中成对样本之间的非线性关系。对于任意给定的两 个测试样本，利用该预测机对每个样本的预测值来决定这对样本之间的距离。该方法 在LFW和YTF数据库上严格协议下分别达到了90.17%和80.10%的识别率。 （3 ）提出了一种图像集联合稀疏表示的模型，将稀疏表示和结构化稀疏表示纳入 到一个框架下。该模型从两个层次上建模图像集的稀疏表示：第一个是采用l,混合范 数的组层次稀疏性，它假设每一个图像集能用少量若干个注册图像集重构；第二个是 采用l 范数的原子层次稀疏性，其目标是对每一张图像选取表观相关的原子进行重构。 I 中国科学院大学博士学位论文—— 稀疏与流形表示及其在人脸识别中的应用研究 该方法不仅利用了测试图像集的整体性还有效地利用了注册图像集(或训练图像集)的分 组结构特性。在三个公开的视频人脸数据库上的实验验证了该方法超过了当前已有的 视频人脸识别方法。 （4 ）提出了一种建模数据集之间关系的无监督流形对齐学习模型。该模型形式化 流形对齐为包含流形表观特征匹配、几何结构一致性匹配以及结构保持三个特性的混 合整数规划模型。这个模型具有三个特点：i ）完全无监督的流形匹配，不需要预先指 定任何对应性；ii ）同时处理流形结构的发现和对齐；iii ）能使用一个迭代投影算法来 发现两流形间的对应点，且不需要考虑所有的置换情况。本文所提出的迭代投影算法 通过沿着增广的凸目标函数的解的路径来发现原目标函数的近似解，并且在理论上证 明了该算法是收敛的。在数据集匹配、人脸识别和域迁移学习等不同任务中的实验表 明了该方法的有效性以及应用于实际问题的可行性。 （5 ）提出了一种局部仿射凸壳约束的自适应流形距离计算方法。该方法借助于构 建非邻接关系的权重矩阵作为正则项约束，进而转化流形距离为流形上局部仿射凸壳 之间的距离问题，避免了先前方法在计算流形距离时需要预先划分流形为若干个线性 子模型的问题以及由此引起的流形距离计算偏差问题。从建模子空间距离到仿射凸壳 最近点的距离的角度，该模型将点、子空间、流形纳入到一个统一的流形距离框架下。 在两个挑战性的视频人脸数据库YTF和YTC[80]上的实验验证了该方法相比于已有的图 像集距离计算方法