局部时空特征及部件的视频人体动作识别方法分析-analysis of video human motion recognition method based on local spatio-temporal features and components.docxVIP

摘要视频中人体动作识别旨在利用计算机自动分析视频数据，从中提取与人体动 作相关的信息，达到分析与理解视频的目的，是计算机视觉领域的一个活跃研究 主题，具有广泛的潜在应用场景，如智能视频监控、基于内容的视频分析、智能 监护和人机交互等。近年来，人体动作识别研究取得了丰富的研究成果。由于该 问题的复杂多样性，已有的研究方法存在着缺点和不足，自动识别人体动作的技 术还处在不断探索之中。人体动作识别作为一个分类问题，视频特征提取与表达 是有效识别的关键一环。本文从特征提取与表达出发，在已有工作基础上提出新 的方法和思路。主要创新点归纳如下：① 提出了一种基于上下文结构信息的动作表示方法。词袋模型采用矢量量化 技术将局部特征量化至最近邻的视觉单词，产生较大的量化误差。此外，词袋模 型对局部特征进行全局统计，忽略了时空兴趣点的时空分布。针对量化误差问题， 首先推广后验概率编码框架，基于该框架分析了已有的编码方法。在此基础上， 提出一种新的后验概率编码方法。该编码方法编码时不仅考虑了视觉单词与特征 向量之间的空间相似性，而且考虑了它们之间的线性相似性，能更好的捕捉丰富 的局部流形信息。在该编码方法基础上，计算兴趣点局部上下文范围内兴趣点的 空间分布和时间顺序分布，形成累计概率直方图特征，描述兴趣点的时空分布。 在多个标准数据库上的实验表明，作为局部特征的互补特征，累计概率直方图特 征不仅提高了动作识别的正确率，而且具有较好的鲁棒性。② 提出了一种判别核字典学习框架。基于局部特征的字典学习识别人体动作 包含三个独立步骤：字典学习、特征编码和池化。忽略了这三个步骤彼此之间的 影响，不能针对分类任务学习最佳判别字典，使得特征编码判别力较低；且传统 字典学习方法是在线性空间进行训练，不能有效处理非线性数据。针对这些问题， 提出的判别字典学习框架融合这三个独立步骤，形成一个统一的目标函数。通过 同时最优化，减少三个独立步骤彼此之间的影响，增强了特征编码的判别力。此 外，在学习判别字典的同时学习了一个线性分类器。采用双字典模型对框架进行 核推广，将特征非线性映射到高维特征空间，增强该框架处理非线性数据的能力。 实验证明了该框架的有效性。③ 提出了一种基于帧间编码系数变化的动作表示方法。观察到视频帧间编码 系数的变化反映了视频运动信息的变化，对视频帧间编码系数变化进行统计可有 效捕捉视频中的运动信息，特别是时间变化信息。采用空间金字塔模型将视频在 空间维度分割成多个单元，对每个单元连续 帧间编码系数在时间上的变大和变小变化进行统计，统计的直方图特征用基于空间金字塔匹配核的支持向量机进行分类。与其他动作表示方法相比，这种特征具有较强的鲁棒性，容易计算，且不依 赖于特定的编码方法。④ 提出了一种新的基于隐变量支持向量机的判别模型。将视频表示成稠密的 时空部件，观察到动作可由一组判别时空部件联合区分。定义时空部件为隐变量， 引入组稀疏正则化技术，通过最优化删除判别力低的时空部件检测器，达到同时 学习和选择一组判别时空部件检测器的目的。针对时空部件检测器冗余问题，引 入类内非相关性约束。针对判别部件一致性问题，引入相似性约束促使同类动作 视频中检测到的时空部件尽可能的一致，并提出一个迭代算法快速求解带有相似 性约束的隐变量。实验结果表明，检测到的时空部件具有判别性，且在多个数据 库上取得了较好的识别效果。关键词：人体动作识别，上下文，判别字典学习，特征编码，隐变量支持向量机ABSTRACTHuman action recognition is an active research topic in computer vision field, which aims to use computers to analyze and understand videos by automatically analyzing videos and extracting information related to human actions. It has a large amount of potential applications, such as intelligent video surveillance, content-based video analysis, intelligent monitoring, and human-computer interaction. Recent years, great progress and fruitful achievements have been made in human action recognition. Because of its complexity and variety, the exi