姿势估计算法里用多视角深度图的后处理 - 计算机应用研究.pdf

第 卷第 期 计 算 机 应 用 研 究 年 月 姿势估计算法里用多视角深度图的后处理 程光 王贵锦 林行刚 清华大学 电子工程系 北京 摘 要 针对人体姿势估计算法部分节点效果差的问题提出降低训练开销并增加用多视角深度图的后处理改 进技术 首先生成一个规模减小而包含常见典型动作的训练集合并用小型集群服务器训练后进行骨架节点的 估计之后对置信度不高的骨架节点在深度图投影得到侧视图和顶视图中再次计算需修正的骨架节点的后处 理方法以提高节点的准确度 实验表明在使用样本数量少一个数量级的情况下能取得比微软原算法平均误差 小 的结果 关键词 人体姿势估计 人体骨架节点 后处理 侧视图 顶视图 中图分类号 文献标志码 文章编号 人体姿势估计一直是一项很有挑战性的工作主要是指根 减少训练样本的数量降低一个数量级的样本但同时对样本 据单张图像来直接估计人体的姿势状态提取人体主要关节 进行重新挑选主要选取在人机交互中常用的更有代表性的一 点像肘腕脚等的位置所在 早期其主要基于普通的可见光 些动作如挥手打拳等这样训练后对于普通场景下人们的主 要动作都可以进行有效识别而其他一些不常用的动作如踢正 图像 并使用一些基于模型的方法如 等人 提出通过 有效节点检测进行人体上部姿势恢复的方法 通常这些用可 步等不保留其次为了提高节点预计的准确度本文在原识别 见光的方法比较复杂处理速度慢 算法之后对部分节点进行后处理可根据人体模型来对预测的 因为可见光彩色图像对光照衣服颜色变化等比较敏感 节点进行置信度估计将置信度低的一些节点通过投影得到的 可行的一种解决方法是使用深度图像进行人体姿势估计 深 多视角深度图提供的信息进行修正 这些节点通常由于遮挡 度图可以通过不同的方式获取 等原因而在视图里计算不够准确侧视图能够提供角 如 深度相机 度的信息顶视图能够提供角度的信息结合这些信息可 双目立体匹配 和散斑模型匹配 等 通常深 度相机获得的深度图像分辨率比较低一般在 大小 以将某些在二维视图里误差大的节点位置重新计算这样 双目立体匹配虽然精度高但计算复杂度大而无法实时获取使 将后处理得到的节点三维信息更新到原结果就可以有效地提 高骨架节点估计精度 作为比较本文采集并标定了几千张实 用散斑成像技术的微软 设备 不仅能给出高分辨率 的图像而且可以实时获取 因此更为方便实用 际场景的深度图作为测试集合将微软处理的结果和本文计算 得到的结果分别与标定真值进行节点的三维误差比较结果表 等人 提出了一种基于身体分块估计的算法来精确预 测人体三维骨架节点但是这一算法需要大型的集群服务器和 明主要节点的精度本文能取得更好的效果所有节点的平均 数百万的样本进行训练 在他们的论文中提到实验一次使用 误差甚至比微软的还要小