基于通道的拓扑精细化图卷积的骨骼动作识别英译汉（译文）.docxVIP

PAGE PAGE 1 本科毕业设计（论文） 英 文 翻 译 基于骨骼的动作识别的通道式拓扑细化图卷积 学 院 计算机学院 姓 名 专 业 计算机科学与技术 班 级 学 号 基于通道的拓扑精细化图卷积的骨骼动作识别arXiv:2107.12213v1 [cs arXiv:2107.12213v1 [cs.CV] 2021年7月26日 陈玉新1,2，张子奇1,2，袁春风1*，李兵1，邓颖4，胡伟明1,3 1NLPR，中国科学院神经科学与工程研究所 2中国科学院大学人工智能学院 3中国科学院脑科学与智能技术卓越创新中心 4南昌航空制造工程学院 chenyuxin2019@，{ziqi.zhang、cfyuan bli, wmhu} @ 摘要 图卷积网络在基于骨架的动作识别中得到了广泛的应用，并取得了显著的效果。在遗传神经网络中，图拓扑主导特征聚合，因此是提取代表性特征的关键。在这项工作中，我们提出了一种新的通道式拓扑细化图卷积算法(CTR-GC)来动态学习不同的拓扑结构，并有效地聚合不同通道中的关节特征进行基于骨架的动作识别。所提出的CTR-GC通过学习共享拓扑作为所有信道的通用先验，并用每个信道的信道特定相关性来重新定义它，从而对信道拓扑进行建模。我们的细化方法引入了很少的额外参数，并显著降低了通道拓扑建模的难度。此外，通过将图卷积重构为统一的形式，我们发现CTR-GC放松了对图卷积的严格约束，导致更强的表示能力。将CTR-GC与节奏建模模块相结合，我们开发了一个强大的名为CTR-GCN的图形卷积网络，该网络在NTU RGB+D、NTU RGB+D 120和NW-UCLA数据集上的性能明显优于目前最先进的方法。 1 介绍 人体动作识别是一项重要的任务，从人机交互到视频监控都有广泛的应用。近年来，由于深度传感器的发展及其对复杂背景的鲁棒性，基于骨骼的人体动作识别受到了广泛的关注。 *对应作者 1 \h /Uason-Chen/CTR-GCN. 图1.Channel-wise拓扑细化。不同颜色的线对应不同通道中的拓扑，线的粗细表示接头之间的相关强度。 早期的基于深度学习的方法将人体关节视为一组独立的特征，并将其组织成特征序列或伪图像，然后将这些特征序列或伪图像输入神经网络或cnn来预测动作标签。但这些方法忽略了关节间的内在相关性，而关节间的内在相关性揭示了人体的拓扑结构，是人体骨骼的重要信息。Yan等人[31]首先用图形建模人体关节之间的相关性，并应用GCNs和时间卷积提取运动特征。而他们采用的手工定义的拓扑结构很难实现非自然连接的关节之间的关系建模，并且限制了GCNs的表示能力。为了提高GCNs的功率，最近的方法[24,34,33]通过注意或其他机制自适应地学习人体骨骼的拓扑结构。它们对所有信道使用拓扑，这迫使GCNs在不同信道中聚合具有相同拓扑的特征，从而限制了特征提取的灵活性。由于不同的通道表示不同类型的运动特征，不同运动特征下关节之间的相关性也不总是相同的，因此共用一个拓扑不是最优选择。Cheng等人的[3]为信道组设置了单独的参数化拓扑。但是，不同组的拓扑由于模型是独立学习的，在设置通道参数化拓扑时，模型过于笨重，增加了优化的难度，阻碍了通道拓扑的有效建模。此外，参数化的拓扑对于所有的样本都保持相同，这就无法建模与样本相关的相关性。 在本文中，我们提出了一种基于信道的拓扑细化图卷积，该卷积可以动态有效地对基于信道的拓扑进行建模。CTR-GC不是独立地学习不同通道的拓扑，而是以一种细化的方式学习面向通道的拓扑。具体来说，CTR-GC同时学习共享拓扑和特定于通道的相关性。共享拓扑是一个参数化的邻接矩阵，作为所有通道的拓扑先验，并提供顶点之间的一般相关性。针对每个示例动态推断特定于通道的相关性，它们捕获每个通道内顶点之间的微妙关系。通过用特定于通道的关联细化共享拓扑，CTR-GC获得通道的拓扑(如图1所示)。我们的细化方法避免了对每个通道的拓扑独立建模，并引入了少量额外的参数，这大大降低了通道的拓扑建模的难度。此外，通过将四类图卷积重新定义为统一的形式，验证了本文提出CTR-GC从本质上放松了其他类图卷积的严格约束，提高了表示能力。 将CTR-GC与时间建模模块相结合，构建了一个功能强大的图卷积网络CTR-GCN，用于基于骨骼的动作识别。在NTU RGB+D、NTU RGB+D 120和NW-UCLA上的大量实验结果表明:(1)在参数和计算成本相当的情况下，CTR-GC显著优于其他基于骨骼的动作识别方法;(2)我们的CTR-GC可以有效地学习细微的关联，特别是手指间的交互;(3)我们的CTR-GCN方法在所有三个数据集上都明显超过了最先进的方法。 我们的贡献可以总结如下: ?