具身智能:从理论到实践 课件 第8章 VLN实战.pptx

具身智能:从理论到实践 课件 第8章 VLN实战.pptx

VLN实战项目:DUET算法复现

视觉语言导航中的双尺度规划导航方法;

1.DUET算法原理

基础概念与理论

2.算法架构详解

核心组件与工作流程

3.环境配置与部署

仿真环境与数据处理

4.模型训练与验证

预训练、微调与推理

5.总结与展望

成果总结与未来方向;;;;;

细粒度推理流程

输入与编码

当前节点的全景图像Rt

物体特征Ot

绝对位置编码(相对于起点的坐标)

相对位置编码(相邻节点的方向)

交叉模态推理

添加停止标记r0,形成视觉tokens[r0;Rt;Ot]

标准Transformer建模视觉与语言的交互

输出预测

通过FFN预测相邻节点的导航分数

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档