基于时空信息和非负成分表示的动作识别-东南大学学报.pdfVIP

第４６卷第４期 东南大学学报（自然科 学版 ） Ｖｏｌ．４６ Ｎｏ．４ 　 ２０１６年７月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｊｕｌｙ２０１６ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－０５０５．２０１６．０４．００１ 基于时空信息和非负成分表示的动作识别 王健弘　 张　旭　 章品正　 姜龙玉　 罗立民 （东南大学影像科学与技术实验室，南京２１００９６） 摘要：为充分利用时空分布信息及视觉单词间的关联信息，提出了一种新的时空 非负成分表示 方法（ＳＴＮＣＲ）用于动作识别．首先，基于视觉词袋（ＢｏＶＷ）表示，利用混合高斯模型对每个视 觉单词所包含的局部特征的时空位置分布进行建模，计算时空Ｆｉｓｈｅｒ向量（ＳＴＦＶ）来描述特征位 置的时空分布；然后，利用非负矩阵分解从ＢｏＶＷ表示中学习动作基元并对动作视频进行编码． 为有效融合时空信息，采用基于图正则化的非负矩阵分解，并且将ＳＴＦＶ作为图正则化项的一部 分．在３个公共数据库上对该方法进行了测试，结果表明，相比于ＢｏＶＷ表示和不带时空信息的 非负成分表示方法，该方法能够提高动作识别率． 关键词：动作识别；非负成分表示；时空Ｆｉｓｈｅｒ向量；视觉词袋 中图分类号：ＴＰ３９１．４　　文献标志码：Ａ　　文章编号：１００１－０５０５（２０１６）０４０６７５０６ Ａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｓｐａｔｉｏｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎ ａｎｄｎｏｎｎｅｇａｔｉｖｅｃｏｍｐｏｎｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎ ＷａｎｇＪｉａｎｈｏｎｇ　 ＺｈａｎｇＸｕ　 ＺｈａｎｇＰｉｎｚｈｅｎｇ　 ＪｉａｎｇＬｏｎｇｙｕ　 ＬｕｏＬｉｍｉｎ （ＬａｂｏｒａｔｏｒｙｏｆＩｍａｇｅＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｍａｋｅｆｕｌｌｕｓｅｏｆｓｐａｔｉａｌｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｒｅｌａｔｉｏｎｓｈｉｐａｍｏｎｇｄｉｆｆｅｒｅｎｔｖｉｓｕ ａｌｗｏｒｄｓ，ａｎｏｖｅｌｓｐａｔｉａｌｔｅｍｐｏｒａｌｎｏｎｎｅｇａｔｉｖｅｃｏｍｐｏｎｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｍｅｔｈｏｄ（ＳＴＮＣＲ）ｉｓｐｒｏ ｐｏｓｅｄｆｏｒａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｆｉｒｓｔ，ｂａｓｅｄｏｎＢｏＶＷ （ｂａｇｏｆｖｉｓｕａｌｗｏｒｄｓ）ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｔｈｅｌｏｃａ ｔｉｏｎｓｏｆｌｏｃａｌｆｅａｔｕｒｅｓｂｅｌｏｎｇｉｎｇｔｏｅａｃｈｖｉｓｕａｌｗｏｒｄａｒｅｍｏｄｅｌｅｄｗｉｔｈｔｈｅＧａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌ ， ａｎｄａｓｐａｔｉｏｔｅｍｐｏｒａｌＦｉｓｈｅｒｖｅｃｔｏｒ（ＳＴＦＶ）ｉｓｃａｌｃｕｌａｔｅｄｔｏｄｅｓｃｒｉｂｅｔｈｅｌｏｃａｔｉｏｎｄｉｓｔｒｉｂｕｔｉｏｎｏｆｌｏｃａｌ ｆｅａｔｕｒｅｓ．Ｔｈｅｎ，ｎｏｎｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ（ＮＭＦ）ｉｓｅｍｐｌｏｙｅｄｔｏｌｅａｒｎｔｈｅａｃｔｉｏｎｃｏｍｐｏｎｅｎｔｓ ａｎｄｅｎｃｏｄｅｔｈｅａｃｔｉｏｎｖｉｄｅｏｓａｍｐｌｅｓ．Ｔｏｉｎｃｏｒｐｏｒａｔｅｔｈｅｓｐａｔｉａｌｔｅｍｐｏｒａｌｃｕｅｓｆｏｒｆｉｎａｌｒｅｐｒｅｓｅｎｔａ ｔｉｏｎ，ｔｈｅｇｒａｐｈｒｅｇｕｌａｒｉｚｅｄＮＭＦ（ＧＮＭＦ）ｉｓａｄｏｐｔｅｄ，ａｎｄＳＴＦＶｉｓｕｓｅｄａｓｐａｒｔｏｆｇｒａｐｈｒｅｇｕｌａｒｉｚａ ｔｉｏｎ．Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｅｘｔｅｎｓｉｖｅｌｙｅｖａｌｕａｔｅｄｏｎｔｈｒｅｅｐｕｂｌｉｃｄａｔａｓｅｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈＢｏＶＷ ｒｅｐｒｅｓｅｎｔ