视频和惯性测量单元动作识别的比较.docx

A.V. Podoprosvetov et al. / Procedia Computer Science 186 (2021) 242–249 PAGE 247 PAGE 248 A.V. Podoprosvetov et al. / Procedia Computer Science 186 (2021) 242–249 视频和惯性测量单元动作识别的比较 摘要 这项研究的目的是创建一个智能控制系统，用于自动辅助半被动外骨骼的操作者。这项工作解决了识别人体运动的问题，因为有必要在外骨骼中建立一个基于人体运动的控制系统。考虑了两种创建动作识别的人类模型的方法的实验比较研究。第一种方法基于从以特殊格式表示的惯性测量单元数据重建简化的人体运动学模型。第二种方法是从两个不同视角的视频中获取一个人关键点的2D坐标。使用XGBoost算法对从这些方法获得的人体模型集进行分类。得到的分类器在准确性方面进行比较。 关键词:运动重建；控制系统中的神经网络:智能控制系统；惯性测量单元可视化，惯性测量单元传感器 1。 介绍 这项研究的重点是外骨骼的工业应用。目标是为智能外骨骼控制系统创建软件和硬件，以自动辅助半被动外骨骼的操作员，并为执行工作过程提供建议。本文考虑了识别人体运动的子任务。 目前，解决决定人类行为的问题有三种不同的方法。最广泛和深入研究的解决方案之一是光电系统(运动捕捉)。这项技术基于红外摄像机，跟踪放置在物体上的标记的三维位置。反过来，光学系统分为两种类型:无源和有源。带有反射标记的系统是被动的。主动系统包括 带有发射标记的系统，包括同步和识别所需的控制器。还有类似的系统，标记是磁铁，相机是接收器。在这种情况下，系统根据磁通量失真计算标记的位置。 在[1]中获得的数据(位置0.1毫米)证实了这种技术的高测量精度。所收集的数据可用于通过用于医疗和体育目的的专门软件产品来分析人的动态特征。然而，有许多严重的限制使得这种系统难以使用。限制包括长的摄像机校准时间或有限的测量区域，这不允许在没有准备的条件下使用系统。 确定动作任务的另一个常见解决方案是使用机器学习来分析视频帧。此外，这项任务通常分为两部分，在框架中搜索一个人及其身体部位，以及根据人体模型的表示对姿势进行分类。第一类问题的一个突出例子是OpenPose系统[2，7]。这个系统的优点包括它能够通过实时检测一个人身上的关键点来搜索框架中的无限数量的人，以及如果这个人不完全适合框架(例如，手或脸)，它不仅能够识别整个人，而且能够识别其部分。然而，开发的3D识别系统仅在实验室条件下工作，因为该系统建立在来自几个先前已知视图的几个帧上，并且仅在预先配置的相机上工作。 第三种恢复人体运动的方法是使用一组惯性传感器，由加速度计、陀螺仪和磁力计组成。由于传感器的尺寸、价格和自主性，它们使用起来很方便，但也不是没有缺点。主要问题之一是中段传感器精度差。另一个问题是传感器没有足够的数据来恢复轨迹；需要关于外部环境的附加信息。一个简单的例子是，测量地球磁场强度的磁力计对铁物体附近的磁场畸变或不同性质的强磁场非常敏感。 此外，有各种方法来解决解释来自传感器的数据的问题，以使它们与现实世界对应起来。评论[3]比较了其中一些的准确性。评审者专注于人体上半身的传感器到分段校准，特别是评估手腕、肘部和肩关节角度的准确性。模型根据两个标准进行评估:检验真实度(“接近参考值”)和精确度(再现性)。此外，评估使用了包括受试者和操作者可变性的实验方案。但是，无论是在评论中，还是在链接的文章中，都没有对实现这种校准的算法进行评论。 在IMU传感器上全面实现该系统的主要开发商是XSens——一家基于MEMS技术的3D运动捕捉设备和惯性传感器供应商。很明显，由于产品是商业公司，所以不提供开源系统。 本文讨论了一个实验室实验，比较了两种创建人类模型来识别动作的方法。第一种方法是从两个不同视角的视频中获取一个人关键点的2D坐标。此后，应用下面描述的后处理。第二种方法是基于使用惯性测量单元传感器系统重建人的简化运动学模型，按照文章[4]中提出的格式进行解释。此外，使用XGBoost算法对来自两种方法的模型集进行分类[5]。 2。 实验描述和视频数据解释 作为实验室实验的一部分，获得了一个正在粉刷墙壁的人的视频和位于人体上的惯性测量单元传感器的数据。本节描述了两种数据收集方法和数据集的形成。 2.1。 视频收集 该视频是从两个不同的视角(以下称为视角1和视角2)录制的——5个视频，每个视角长6分钟。总共以每秒25帧的速率获得了1小时的视频记录。接收的总帧数为90.000.生成的视频被逐帧分割。 2.2。 目标变量 对于每个视频，创建了一个表，该表指示了帧号和任务中必须预测的与该帧相对应的两个二进制目