一种多骨架特征前期融合的在线行为识别算法.pdfVIP

第４１卷第１期计算机应用与软件Ｖｏｌ４１Ｎｏ．１

２０２４年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０２４

一种多骨架特征前期融合的在线行为识别算法

刘均发黎奕辉

（广东工业大学机电工程学院广东广州５１０００６）

摘要针对现有基于人体骨架的行为识别方法存在计算量大、不适合在线应用的问题，提出一种多骨架特征

前期融合的在线行为识别算法。该算法通过前期嵌入层融合不同类型的输入特征，并结合最大池化和层次池化

操作提取骨架空间的多语义信息。根据日常行为的数据特征设计有效的骨架序列选取方式，并制作ＮＴＵＧＡＳＴ

Ｓｋｅｌｅｔｏｎ数据集，实现在线的行为识别应用。在公开数据集ＮＴＵ６０／１２０ＲＧＢ＋Ｄ上进行测试，结果表明提出的算

法需要更少计算量的同时取得了较高的识别准确率。

关键词多骨架特征前期融合行为识别在线应用

中图分类号ＴＰ３９１．４文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２４．０１．０２４

ＡＮＯＮＬＩＮＥＳＫＥＬＥＴＯＮＢＡＳＥＤＡＣＴＩＯＮＲＥＣＯＧＮＩＴＩＯＮＡＬＧＯＲＩＴＨＭ

ＷＩＴＨＭＵＬＴＩＦＥＡＴＵＲＥＥＡＲＬＹＦＵＳＩＯＮ

ＬｉｕＪｕｎｆａＬｉＹｉｈｕｉ

（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＥｘｉｓｔｉｎｇｓｋｅｌｅｔｏｎｂａｓｅｄａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｓｒｅｑｕｉｒｅｌａｒｇｅｃｏｍｐｕｔａｔｉｏｎ，ｗｈｉｃｈｍａｋｅｓｔｈｅｍｕｎｓｕｉｔａｂｌｅ

ｆｏｒｏｎｌｉｎｅａｐｐｌｉｃａｔｉｏｎｓ．Ａｉｍｉｎｇａｔｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｏｎｌｉｎｅｓｋｅｌｅｔｏｎｂａｓｅｄａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄ

ｗｉｔｈｍｕｌｔｉｆｅａｔｕｒｅｅａｒｌｙｆｕｓｉｏｎ．Ｔｈｅａｌｇｏｒｉｔｈｍｉｎｔｅｇｒａｔｅｄｄｉｆｆｅｒｅｎｔｔｙｐｅｓｏｆｉｎｐｕｔｆｅａｔｕｒｅｔｈｒｏｕｇｈｔｈｅｅａｒｌｙｅｍｂｅｄｄｉｎｇｌａｙｅｒ

ａｎｄｃｏｍｂｉｎｅｄｔｈｅｍａｘｐｏｏｌｉｎｇａｎｄｈｉｅｒａｒｃｈｉｃａｌｐｏｏｌｉｎｇｔｏｅｘｔｒａｃｔｍｕｌｔｉｓｅｍａｎｔｉｃｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅｓｅｌｅｃｔｉｏｎ

ｓｔｒａｔｅｇｙｏｆｓｋｅｌｅｔｏｎｓｅｑｕｅｎｃｅｓｗａｓｄｅｓｉｇｎｅｄｂａｓｅｄｏｎｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｄａｉｌｙａｃｔｉｏｎｓ．Ａｎｅｗ３Ｄｓｋｅｌｅｔｏｎｄａｔａｓｅｔ

，

ＮＴＵＧＡＳＴＳｋｅｌｅｔｏｎ，ｗａｓｍａｄｅｆｏｒｏｎｌｉｎｅａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．ＥｘｐｅｒｉｍｅｎｔｓｏｎＮＴＵ６０ａｎｄ１２０ＲＧＢ＋Ｄｄａｔａｓｅｔｉｎｄｉｃａｔｅ

ｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄａｃｈｉｅｖｅｓｈｉｇｈｅｒｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙｗｉｔｈｌｅｓｓｃｏｍｐｕｔａｔｉｏｎａｌｃｏｍｐｌｅｘｉｔｙ．

ＫｅｙｗｏｒｄｓＭｕｌｔｉｓｋｅｌｅｔｏｎｆｅａｔｕｒｅＥａｒｌｙｆｕｓｉｏｎＡｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎＯｎｌｉｎｅａｐｐｌｉｃａｔｉｏｎ

取，但是根据先验知识设计的特征工程容易受骨架噪

［１］

０引言声的影响，泛化能力差。近年来基于深度学习的方