CN119772905A 一种实现多模态通用操作任务的机械臂控制方法、系统及设备 （浙江大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119772905A

(43)申请公布日2025.04.08

(21)申请号202510281655.9

(22)申请日2025.03.11

(71)申请人浙江大学

地址310058浙江省杭州市西湖区余杭塘

路866号

(72)发明人李恭胜游翊艺孟濬许力

(74)专利代理机构杭州求是专利事务所有限公司33200

专利代理师刘静

(51)Int.Cl.

B25J9/16(2006.01)

权利要求书3页说明书11页附图3页

(54)发明名称

一种实现多模态通用操作任务的机械臂控

制方法、系统及设备

(57)摘要

CN119772905A本发明公开了一种实现多模态通用操作任务的机械臂控制方法、系统及设备，获取文本、语音和视觉的多模态数据；对多模态的输入数据进行模态对齐、编码为统一的输入表征向量并拼接成多模态指令段落；基于语音指令数据的声纹特征检索用户信息语音数据库获取任务关联语音数据；指令信息输入策略大模型获取动作规划；后处理任务动作规划输入控制器控制机械臂，实时更新多模态输入指令感知最新任务状态；基于初始目标指令信息和环境感知信息进行闭环控制，直到任务完成。本发明通过基于策略大模型的闭环控制和语音数据检索提高了机械臂的任务规划与错误矫正能力，提高了机械臂的