CN115151944B 用于三维姿态估计的方法、装置和系统 （索尼集团公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115151944B(45)授权公告日2025.07.08

(21)申请号202180016890.3

(22)申请日2021.08.18

(65)同一申请的已公布的文献号申请公布号CN115151944A

(43)申请公布日2022.10.04

(30)优先权数据

17/002,0152020.08.25US

(85)PCT国际申请进入国家阶段日2022.08.25

(86)PCT国际申请的申请数据

PCT/IB2021/0576112021.08.18

(87)PCT国际申请的公布数据

WO2022/043834EN2022.03.03

(73)专利权人索尼集团公司地址日本东京

(72)发明人儿鳴环

(74)专利代理机构中国贸促会专利商标事务所有限公司11038

专利代理师程晨

(51)Int.CI.

GO6F17/00(2019.01)

GO6T7/73(2017.01)

(56)对比文件

TianLangCHENetal..Anatomy-aware3DHumanPoseEstimationin

Videos.arxiv.2020,第4323页左栏第3.1节、右栏第3.2节、第4324页右栏第3.3节、第4325页左栏最后一段、第4326页右栏倒数第2段.

审查员徐滢

权利要求书2页说明书14页附图16页

(54)发明名称

青盘白量整

青盘白量

整()

智

(57)摘要

CN115151944B神经网络的最新进展表明了在人体姿态估计任务方面取得的重大进展。姿态估计可以分为单目2D姿态估计、多视图3D姿态估计和单视图3D姿态估算，其中，3D姿态最近越来越受到重视，以被应用于AR/VR、游戏和人机交互应用。然而，关于人体3D姿态估计的当前学术基准仅考虑其相对姿态的性能。随时间的根定位，换言之，整个身体在3D空间中的“轨迹”考虑得不够好。诸如运动捕获之类的应用不仅需要身体的精确相对姿态，还需要整个身体在3D空间中的根位置。因此，本文描述了从2D姿态输入的有效单目全3D姿态恢

CN115151944B

CN115151944B权利要求书1/2页

2

1.一种用于三维姿态估计的方法，包括：

接收相机信息，其中，所述相机信息包括二维姿态和包括焦距的相机参数；

对所述相机信息应用特征提取，包括利用一维卷积的残差确定；

基于特征提取来估计骨长度；

以所述骨长度为条件基于特征提取来估计骨单位向量；和

从所述骨长度和所述骨单位向量估计相对姿态，并且以所述骨长度和所述骨单位向量为条件基于特征提取来导出根位置。

2.根据权利要求1所述的方法，还包括接收一个或多个帧作为输入。

3.根据权利要求1所述的方法，其中，假设每个骨长度不超过1米的长度。

4.根据权利要求1所述的方法，其中，将长短期存储器用于估计所述根位置以使所述根位置稳定。

5.根据权利要求1所述的方法，还包括对全局位置和旋转应用自动增强以模拟动态运动。

6.根据权利要求1所述的方法，还包括随机改变各批次样本的相机视场以利用不同的相机参数来估计任意视频。

7.根据权利要求1所述的方法，还包括对二维姿态输入执行具有高斯噪声和随机关键点丢弃的二维姿态的扰动以模拟二维姿态预测的噪声和遮挡情况。

8.一种用于三维姿态估计的装置，包括：

非暂态存储器，用于存储应用，所述应用用于：

接收相机信息，其中，所述相机信息包括二维姿态和包括焦距的相机参数；

对所述相机信息应用特征提取，包括利用一维卷积的残差确定；

基于特征提取来估计骨长度；

以所述骨长度为条件基于特征提取来估计骨单位向量；和

从所述骨长度和所述骨单位向量估计相对姿态，并且以所述骨长度和所述骨单位向量为条件基于特征提取来导出根位置；和

处理器，耦合到所述存储器，所述处理器被配置为处理所述应用。

9.根据权利要求8所述的装置，还包括接收一个或多个帧作为输入。

10.根据权利要求8所述的装置，其中，假设每个骨长度不超过1米的长度。

11.根据权利要求8所述的装置，其中，将长短期存储器用于估计所述根位置以使所述根位置稳定。

12.根据权利要求8所述的装置，还包括对全局位置和旋转应用自动增强以模拟动态运动。

13.根据权利要求8所述的装置，还包括随机改变各批次样本的相机视场以