条件随机场在手势识别中应用研究.docVIP

条件随机场在手势识别中应用研究 　　摘要：人类的动态手势识别是计算机视觉领域一个具有挑战性的研究课题。目前常用隐马尔可夫模型描述手势动作序列，但是隐马尔可夫模型要求手势动作序列必须是彼此独立的，而实际上手势动作之间通常具有依赖性。本文利用条件随机场来描述手势序列之间的依赖性，利用联合树算法将条件随机场图形架构转换成子图树，消除了条件随机场架构中的回路，然后利用树状推演算法计算整体联合概率。将该算法用于动态手势识别实验，结果表明该算法优于普通隐马尔可夫模型算法。 　　关键词：动态手势识别；条件随机场；计算机视觉 　　中图分类号TP3 文献标识码A 文章编号 1674-6708（2011）51-0148-02 　　0引言 　　随着计算机应用技术的不断发展，人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分。最近几年，符合实际交流习惯的新颖人机交互技术取得了可喜的进步。手势识别是其中比较热门的一个研究课题。手势是人类最自然的表达方式之一，手势指的是一种自然、直观、易于学习的人机交互手段，是人与人沟通的重要媒介。在手势识别中，由于不同的手势动作经常同时包含类似的动作，而且动作之间的转换在时间点上具有模糊性和重叠性。所以手势动作的识别是人机交互领域一个复杂而具有挑战性的研究。动态手势识别中手势运动序列的描述是一个关键问题，一些文献使用隐马尔可夫模型来描述手势运动，隐马尔可夫模型要求手势动作序列是独立的，而实际上手势动作序列具有长距离依赖性。利用条件随机场描述手势动作序列则可以避免数据必须独立的假设。 　　1条件随机场 　　1.1包含回路的条件随机场的转换 　　可以认为条件随机场（CRF）是一个无向图模型，或者随机马尔科夫场，定义G=（V,E）为一个无向图，存在随机变量序列X。随机变量sv服从马尔科夫性质，即： 　　（1） 　　其中(X,S)为一个条件随机场。条件随机场是一个以观察序列X为条件的随机场。在给定X条件下，状态序列S的联合概率为 　　（2） 　　 　　其中X是样本序列，S为状态序列。 　　条件随机场模型的参数估计问题变成了观察一个联合密度分布来决定参数集的值。这个问题可以定义成求解以下对数似然函数的极值。 　　（3） 　　可以将S认为是状态，而X认为是观察样本。与隐马尔可夫模型不同，条件随机场模型不需要估计状态的概率分布模型。 　　不同的应用模式，可以运用不同的图形来描述条件随机场中变量之间的关系。当变量之间存在层次概念时，可以选择树状结构来描述层次关系；当要描述两个不同路径但是有共同时间索引的马尔科夫模型状态与数据之间的关系时。可以选择动态条件随机场架构。 　　在条件随机场的相关研究中，往往使用现行链状结构来描述变量之间的依赖性。事实上，在随机场中，变量的依赖关系有时候会出现回路。尤其是在时间顺序上前后相互影响的变量。这时，精确的树状推论方法就不能用来正确的推算变量的联合概率。因此我们可以依照联合树的步骤来分析该图形，并建立一个树状的结构。使得可以用标准的推演方法来推算这一图形模型。假如图形符合建构联合树的条件，则建构相对应的联合树图。 　　1.2特征函数的定义 　　条件随机场模型的特征函数的定义取决于状态与状态之间的关系，以及观察状态序列之间的关系，因此应用最大似然训练的隐马尔可夫模型（HMM）进行特征提取。可以用似然度分数和状态转移概率来定义特征函数。首先用隐马尔可夫模型获得经过状态分割的状态序列，以及每一个时间点观测值与每个状态的相似度分数。即可求出特征函数的值。 　　定义特征函数的方法如下：对每一个手势动作中的每一个状态建立一个特征函数： 　　（4） 　　 　　其中代表相似度。可以得到相对应的三个特征函数为： 　　（5） 　　 　　（6） 　　 　　（7） 　　 　　使用GIS（Generalized Iterative Scaling）训练模型参数。求出对应的特征函数的值，建构条件随机场模型。 　　2基于条件随机场模型的手势识别 　　2.1条件随机场模型的训练 　　最大化条件似然对数P（c|X）是条件随机场模型训练的目标，其中c为类别，每一个类别c中都存在特定的状态序列，因此最大化P（c|X）等同于最大化，通过微分求极值的运算后得到最终结果，即特征函数的期望与真实模型期望相等时，条件似然对数最大。 　　特征函数实验期望值的计算，每一个接受训练的模型都有对应的训练数据。我们可以得到这些数据对自己所属模型的分割与似然分数，因此我们可以求出每一个对应的特征函数值，最后再将相同的特征函数在训练数据中得到的分数相加，就的到了特征函数的实验期望。 　　在计算特征函数真实模型期望时，要考虑每一个观察序列对每一个类别都有影响，因此不能认为观察序列所