通过自适应训练方法对人体复杂行为模式进行识别与跟踪.docVIP

通过自适应训练方法对人体复杂行为模式进行识别和跟踪 摘要： 自动观察和理解人类行为是计算机视觉研究领域的一个巨大挑战。潜在应用领域包括机器人，人机交互，医学研究等。在这篇文章中，我们提出的工作为精确识别人类身体动作对人类行为做了的观察和解释。目前系统使用不超过三台摄像机，能够追踪广泛多样场景下的很大范围内的动作，包括目标被部分遮挡的情景，以及操作目标作为活动的一部分，或者目标与环境或其他人互相影响的情景。我们的系统可自我训练，也即是，能够随着时间学习人类行为的学习模型。这既可以用来改进对人类动态的预测，又可以为所观察的行为进行识别和解释提供基础。本系统的精确性和稳健性是许多贡献综合作用的结果。通过使用人体测量的人体模型，并朝着概率跟踪框架最优化该模型，我们就可以获得一个详细的关于人体形状，姿势和动作的生物力学表述。并且，我们引进了一种复杂分层模板策略，嵌入到概率框架中进行跟踪，这种方法胜过了贝叶斯方法的目前水平。然后，我们展示了如何使用学习人体表现模型和蕴含环境模型的综合方法，跟踪日常环境下的复杂操作活动。最后，我们讨论了关于人体动作的局部性和一致性表述，可作为学习特定环境和特定任务下的动作模型的基础。本文提出的所有方法依据现行基准，经过了大量实验评估。几组具有挑战性的实验范围涉及运动员锻炼，人体工程学的研究案例以及在厨房环境下的日常操作任务。 关键词：无标记人体动作捕捉概率状态估计人体动作自训练模型行为识别 一、介绍 观察和解释人体行为一直是人工智能和计算机视觉研究领域中一个持续的兴趣点问题。能够理解人类行为并按照人的行为或意图行动是一个雄心勃勃的目标。一旦达成这个目标，受益的应用领域涉及机器人的人机交互，医学领域如步态分析等。然而，尽管近十年来此领域的研究取得了很大进步，我们仍然面临许多挑战。 在本文中，我们将展示我们在这个高度活跃的研究领域中做出的贡献。我们提出的无标记系统从三个或更多摄像机跟踪人体全身动作，该系统利用一个逼真的人体模型在很高精度上估计观测到的动作。我们的系统可以提取现实环境中任何类型动作的信息，不管操作活动，目标处理，目标与环境的交互或人与人之间的交互发生在任何地方。并且，我们的系统是自适应系统，它能够随着时间通过学习环境中特定动作模型来改善自身效率。最后，这些动作模式可以用来推断观测活动的语意标签，由此推论人类活动和意图。 图片1 展示了一个由我们系统实现的示例应用程序。人体动作捕捉数据的连续检索补充嵌入式传感器网络的传感器读数，就可以创造出一个人体活动的丰富表述。由此得到的知识库可以用作语义查询来推导正在进行的活动和人类意图，可以用来筛选相关事件的传感器读数，比如人抓取杯子时所站的位置(TenorthBeetz 2009)。更多的示例应用程序在我们系统开始已经实施了，包括真实人体动作与机器模拟器的整合，拟人机器人的动作转移等。 Fig 1 示例应用程序中，将人体动作捕捉数据整合到知识库中：a)使用多视角动作跟踪器检索人体动作捕捉数据；b)将该数据与其他感觉模块的输入数据（如语义环境地图或嵌入式传感器网络的读数）在知识库中整合排列，达到对人体活动的更高水平的推导。（图片b来自于Moritz Tenorth (Tenorth and Beetz2009 )）。 我们系统的精确和完备是几方面贡献的综合结果。我们基于模型的方法的基础是人体测量的人体模型，适于在跟踪应用中使用。我们的优化过程中使用一组简化的标准形状参数，该参数是脊柱姿势参数以及现实中临时的动作极限获得的生理现实的联合。我们使用分支迭代分层模板作为模板策略进行递归姿势估计。这种策略在高维空间的人体姿势检索中被证明是极其高效的，尽管它的许多局部极大值存在非线性特征。该方法是可靠的，使我们能够使用一般的参数化动作模型，并导致大范围收敛进行跟踪。另外，我们提出了一种简单高效的分层环境模型，该模型结合基于颜色的外观模型来隐式的处理两种情况的环境遮挡。通过（1）从兴趣区域中减去动态的非人类目标，并且（2）为既遮挡了人体目标又同时被人遮挡的目标（例如桌子）建立模型。图2展示了这些隐式模型在动态环境中的影响。我们最后一个贡献是人体动作训练模型的自动化手段，用来改进动作预测和识别行为模式。我们提出了一种基于图表的方法进行姿势与位置不变相似性测量之间的模型转换，该方法基于相对较短的时空动作碎片来侦测之前观察到的动作模式。 Fig2 人体动作捕捉的挑战在于混乱且动态的环境。第一组：该场景中跟踪目标被一个汽车模型遮挡了；第二组:该场景中目标在操作他的环境。即是再精巧的动作跟踪手段没有一个动态环境模型的情况下也会跟踪失败（中间一列所表现的）。最后一列展示了我们系统的跟踪结果。 在HUMANE VA 2的基准下，与贝叶斯技术目前发展水平相比，大量评估显示了我们的手段具有