基于强化学习的无标签六维物体姿态预测方法及装置.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111415389 A (43)申请公布日 2020.07.14 (21)申请号 202010191659.5 (22)申请日 2020.03.18 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳　邵键准　 (74)专利代理机构 北京林达刘知识产权代理事 务所(普通合伙) 11277 代理人 刘新宇 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) 权利要求书2页 说明书12页 附图3页 (54)发明名称 基于强化学习的无标签六维物体姿态预测 方法及装置 (57)摘要 本公开涉及人工智能技术领域，尤其涉及一 种基于强化学习的无标签六维物体姿态预测方 法及装置。所述技术方案包括：获取待预测的目 标图像，所述目标图像为包括目标对象的二维图 像；根据所述目标图像，采用预先训练得到的姿 态预测模型进行姿态预测得到预测结果，所述姿 态预测模型是根据样本图像进行强化学习得到 的模型；根据所述预测结果，确定所述目标对象 的三维位置和三维方向。本公开实施例通过引入 强化学习来训练姿态预测模型，根据目标图像采 用预先训练得到的姿态预测模型进行姿态预测， A 使得在没有真实的姿态标注的情况下可以解决 9 基于二维图像的六维物体姿态估计的问题，保证 8 3 5 了无标签六维物体姿态预测的预测效果。 1 4 1 1 1 N C CN 111415389 A 权　利　要　求　书 1/2页 1.一种基于强化学习的无标签六维物体姿态预测方法，其特征在于，用于计算机设备 中，所述方法包括： 获取待预测的目标图像，所述目标图像为包括目标对象的二维图像； 根据所述目标图像，采用预先训练得到的姿态预测模型进行姿态预测得到预测结果， 所述姿态预测模型是根据样本图像进行强化学习得到的模型； 根据所述预测结果，确定所述目标对象的三维位置和三维方向。 2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像，采用预先训练得 到的姿态预测模型进行姿态预测得到预测结果之前，还包括： 采用所述样本图像进行强化学习训练得到所述姿态预测模型，所述姿态预测模型为基 于马尔可夫决策过程的模型。 3.根据权利要求2所述的方法，其特征在于，所述姿态预测模型包括基础网络和策略网 络，所述采用所述样本图像进行强化学习训练得到所述姿态预测模型，包括： 通过所述基础网络从所述样本图像中提取所述目标对象的状态信息，所述状态信息包 括观测图像、所述观测图像对应的真实掩模图像框、渲染图像和所述渲染图像对应的渲染 掩模； 将所述状态信息输入至所述策略网络中输出动作信息，所述动作信息用于指示所述目 标对象的旋转分布特征和平移分布特征； 根据所述动作信息对所述观测图像进行重新渲染； 在重新渲染后，根据二维空间中当前的渲染掩模和所述真实掩模图像框之间的差别计 算奖励值； 根据至少一组样本数据组对所述策略网络进行更新，所述样本数据组包括所述目标对 象的所述状态信息、所述动作信息和对应的奖励值。 4.根据权利要求3所述的方法，其特征在于，所述奖励值包括差分奖励值、目标达到奖 励值和集中奖励值； 所述差分奖励值用于指示所述当前的渲染图像与所述观测图像之间的匹配程度，所述 集中奖励值用于指示所述当前的渲染图像与所述观测图像之间在几何位置上的匹配